Сбой 29 ноября был вызван нарушением сетевой связности из-за технических неполадок в работе инфраструктуры «Яндекс Облака». Компания выложила подробный разбор и разъяснила причины.
Массовый сбой в работе целого ряда сервисов произошел вечером 29 ноября. Он затронул работу банков, служб доставки, операторов связи, соцсетей, маркетплейсов, интернет-компаний.
Инциденте также отразился на работе системы бронирования авиабилетов «Леонардо».
Уже вечером 29 ноября пресс-служба Яндекса признала в ответ на запрос «Ведомостей», что в одной из зон доступности Yandex Cloud возникли проблемы с сетевой связностью.
«29 ноября один из контроллеров сети отказал, и совокупность вышеуказанных факторов привела к тому, что сетевые контроллеры в пике могли осуществлять распространение нескольких миллионов обновлений маршрутов в секунду, при этом работая медленнее, но штатно, всё ещё сохраняя функциональность связанного сервиса, — такие подробности привели технические специалисты Yandex Cloud. — При этом пограничные маршрутизаторы (узлы, отвечающие за внешнюю связность) не были готовы к такому потоку обновления маршрутной информации и не успевали декодировать обновления. Это приводило к росту очереди обновлений одновременно на всех инстансах разных группировок внешней связности и связному росту потребления памяти. Рост нагрузки на пограничные маршрутизаторы привел к их частичному отказу».
Для устранения инцидента технические специалисты локализовали контроллер, который вызвал отказ, и восстановили его работоспособность. Помимо этого, они увеличили объем памяти и доработали механизм защиты от исчерпания памяти для группировок пограничных маршрутизаторов, отвечающих за внешнюю связность.
Затем сотрудники технической службы воспроизвели инцидент в лабораторном контуре для проверки эффективности сделанных изменений и приняли меры к тому, чтобы циклическое обновление невалидных маршрутов не повторялось, причем при разных сценариях. Полностью работы по устранению сбоя были завершены 1 декабря.