Internet Moscow blackout

В результате проблем с элекроснабжением в ОАО “Московская междугородная телефонная станция номер 9” (М9), вызванных аварией энергосистемы центра России, 25 мая наблюдалось ограничение доступа клиентов многих провайдеров к IP-услугам, в том числе, к сети Интернет.

25 мая 2005 года на технологической площадке ММТС-9 (Международная телефонная станция №9) отключили электричество. В результате интернет-трафик через Московский Internet Exchange (MSK-IX) упал до нуля почти на три часа (рис.1.).

Рис.1. Недельный трафик через MSK-IX c 22/052005 – 30/052005 (www.msk-ix.ru)Рис.1. Недельный трафик через MSK-IX c 22/052005 – 30/052005 (www.msk-ix.ru)
Это привело к тому, что сайты, расположенные на российских хостинг-площадках, для подавляющего числа пользователей российского Интернета оказались недоступными.Например, запросы от системы мониторинга проекта stat.nic.ru к серверу доменных имен крупнейшей российской хостинг-площадки “Mастерхост” не проходили с 11:26 до 14:41 (рис.2.).
Рис.2. Время отклика сервера ns.masterhost.ru 25/052005
Рис.2. Время отклика сервера ns.masterhost.ru 25/052005

Отключение электропитания на MMTC выявило несколько важных принципиальных моментов.Во-первых, устойчивость технологий TCP/IP зиждется не на бесперебойном электропитании или на круглосуточной работе персонала, хотя это тоже важно. Главным является принцип маршрутизации, согласно которому предполагается, что маршрутов от хоста А до хоста В может быть несколько. В нормальных условиях выбирается тот, что выгоднее, а в условиях аварии – то, что осталось.В нашем случае выбирать оказалось не из чего. Все маршруты ведут на M9. Обходных путей нет. Хотя реальная возможность их организации существует.

Например, из 8 технологических площадок MSK-IX (Московский Internet Exchange, его участниками являются 157 провайдеров) питание было отключено только на двух, собственно, на ММТС-9, и в ИКИ РАН. Остальные площадки работали нормально. Если бы провайдеры имели подключения не только на MMTC-9, но и на других площадках MSK-IX, то проблемы связности между сетями провайдеров в случае отключения питания на одной из них не было бы.

Во-вторых, хотя главной причиной недоступности сайтов было отключение питания на MMTC-9, тем не менее проблемы конкретных сайтов могли быть обусловлены и прочими причинами. Система мониторинга stat.nic.ru предоставляет достаточно материалов для размышления.

Например, сервер ns1.gldn.net оказался недоступен в 11:27, однако отвечать на запросы системы мониторинга он начал только 11:48 следующего дня (Рис.3-4)

Рис.3. Поведение сервера ns1.gldn.net. Начало проблем 25/052005
Рис.3. Поведение сервера ns1.gldn.net. Начало проблем 25/052005
Рис.4. Поведение сервера ns1.gldn.net. Завершение проблем 26/052005
Рис.4. Поведение сервера ns1.gldn.net. Завершение проблем 26/052005
В данном случае следует констатировать, что недоступность сервера столь длительное время не объясняется только проблемами на MMTC-9.Другой пример. Поставарийное увеличение числа запросов (рис.5) к сайту, которое создает для пользователей существенные трудности.
Рис.5. Поставарийная нагрузка на сервер ns2.macomnet.ru
Рис.5. Поставарийная нагрузка на сервер ns2.macomnet.ru

В данном случае, мы видим проблемы уже после включения питания. Сервер работает, но время его отклика существенно отличается от обычного.В-третьих, некоторые владельцы серверов располагают их заграницей. Если аудитория таких сайтов состоит из заграничных жителей, то, видимо, такое решение оправдано. Однако вытаскивать сервер на чужбину только потому, что это кажется более надежным решением, не стоит.Во всяком случае и многие российские хостинг-площадки показали себя с самой хорошей стороны, тот же “Мастерхост”, например. Серверы на его площадках работали без сбоев. Вот только пользователи до этих серверов добраться не могли потому, что у их провайдеров не было другого варианта маршрута. Но ведь и к международным каналам во многих случаях другого пути тоже нет.

Для того чтобы в этом убедиться, опять воспользуемся примером и статистики проекта stat.nic.ru. Многие российские домены (домены второго уровня в зоне RU), имеют один из авторитативных серверов за границей. Поэтому система мониторинга stat.nic.ru позволяет оценить, насколько эффективно размещение сервера за границей решило проблему отключения ММТС-9 (рис.6).

Рис.6. Доступность сервера ns2.valuehost.ru
Рис.6. Доступность сервера ns2.valuehost.ru

Из графика понятно, что не решило бы.
Если бы при отключении электроэнергии на ММТС-9 провайдеры могли бы обмениваться трафиком на других площадках, то потери связности их сетей не было.(рис.7).
Рис.7. Доступность сервера ns1.mtw.ru
Рис.7. Доступность сервера ns1.mtw.ru

В данном случае провайдеры имеют присутствие на площадке KIAE, поэтому отключение электропитания на ММТС-9 проявилось только в увеличении числа обращений к данному серверу, что сказалось на его времени.Таким образом, для того, чтобы российский Интернет вновь не распался бы на фрагменты, необходимо:

  • провайдерам озаботится о дополнительных независимых каналах обмена данными между друг другом;
  • хостинг-провайдерам продумать и реализовать возможность доступа к их площадкам из независимых сетей желательно разных провайдеров;
  • владельцам сайтов размещать свои ресурсы на площадках, соответствующим образом поключенным к сетям основных потребителей их информационных ресурсов, а кроме того о зеркалах, расположенных на разных площадках;
  • конечным потребителям нужно отдавать себе отчет в том, чем вас провайдер может реально обеспечить, а чем не может.

В заключение хочется отметить, что вопрос об экономической целесообразности резервирования каналов, перенастройки маршрутов в случае аварии размещения зеркал сайтов на разных площадках намеренно оставлен за рамками данного материала. Вкладывание денег сопряжено с определенными рисками, которые нужно считать. Например, согласно данным MSK-IX, среднесуточный объем трафика 25 мая 2005 года примерно равняется среднесуточному объему трафика 9 мая 2005 года, т.е. в мае просто образовался дополнительный выходной день. Несколько таких выходных дней образуется, например, в результате переноса праздников с выходных на будни. Но это совсем другая история.

Источник: INFO•NIC