#bgp

Про интернет в Беларуси и России.

Когда вы покупаете интернет — вы платите провайдеру. МТС, Мегафон, Ростелеком, кому-то, кто протянул вам кабель или продал симку. У каждого провайдера своя сеть, network, net.

Но по сути вам нужен доступ не к сети провайдера. Что мы там забыли на серверах Мегафона и Билайна? Нам нужен интер-нет. Интер-нет — это связанность сетей разных провайдеров между собой. Каждый провайдер связан с сетью гугла-ютуба, фесбука-вацапа и телеграма напрямую или через цепочку других провайдеров.

Изначально интернет планировался как сеть, в которой между каждым двумя провайдерами есть хотя бы два независимых пути. Это гарантирует отказоустойчивость. Ломается один канал или посредник— связанность сохраняется по второму.

В Беларуси по закону есть всего три провайдера, у которых есть прямая связь со внешним миром. Это Белпак, Национальный центр обмена трафиком и Академия наук Беларуси. Весь интернет в Беларуси ходит через эти три точки. И недавно два из них сначала выключили свои каналы IPV6 связи со внешним миром, а потом начали жестко ограничивать пропускную способность.

Все наши сети имеют какую-то пропускную способность. Если из 10 полос МКАДа перекрыть 8, то нормально проехать не получится почти ни у кого. Именно это сделали государственные провайдеры Беларуси, вырубив таким образом всей стране интернет. Беларусы не могут открыть зарубежные сайты, мы не можем открыть сайты внутри Беларуси.

Академия наук беларуси почти никому интернет не продает, но его и не ограничивает — поэтому их ресурсы открываются как и раньше.

Это всё — открытая информация. Дело в том, что провайдеры договариваются о связности между друг другом на основе протокола BGP, и эти договоренности видны всему остальному миру.

Правительству Беларуси пора перестать заливать нам мочу в уши про то, что интернет «сломался». Его тупо выключили.

В России точек связи со внешним миром больше — десятки. Недавно принятый закон о суверенном интернете заставляет всех провайдеров установить оборудование, которое в случае чего сможет все внешние каналы связи тупо вырубить. Суверенный и надежный интернет.

За фактуру спасибо QRATOR, это одни из самых крутых ребят в России про сети и высокую нагрузку. Про то, что такое магистральный провайдер и как выглядит карта связности России с миром можно посмотреть в неплохой образовательной статье. Что про всё это думают настоящие сетевики можно подглядеть в телеграм канале ЗаТелеком.

На картинке — то, как в 10:30 власти зарезали трафик крупнейшему новостному сайту Беларуси tut.by 🤍❤️🤍

Описание вчерашней сетевой аварии опубликовал в своем блоге Cloudflare. Ниже мой перевод первого абзаца на скорую руку, оригинал лучше:

Сегодня в 10:40 UTC у интернета случился сердечный приступ. Небольшая компания в Северной Пенсильвании стала избранным путем (preferred path) многих соединений крупнейшего транзитного провайдера Verizon. Представьте, что Яндекс.Карты завернули весь трафик МКАДа через маленький переулок. Клаудфлер, вместе с многими другими хостингами стал недоступен для больших частей интернета. Всё началось с того, что Verizon анонсировал свои внутренние пути во внешний интернет. Почему так вышло — читайте дальше.

Обожаю, когда объясняют сложные события с самых основ и не упускают важных деталей, раскрывая их суть по мере рассказа. ❤️💪

Гугл опубликовал публичный постмортем про воскресную аварию. Текст длинный, но суть простая: у них ломается сеть, если специальная программа не подвозит правильную конфигурацию сети (BGP) каждые пару минут. Несколько копий этой программы запущены на отдельных серверах в каждом дата-центре (отказоустойчивость!). Эти серверы включает-выключает другая программа управления конфигурацией. Во второй программе была ошибка, из-за которой она выключила все копии первой программы. Через пару минут после этого протухли BGP-анонсы и развалилась сеть.

Из-за сломанной сети были недоступны внутренние инструменты, которыми пользуются сисадмины при исправлении проблем. Гугл говорит, что у них есть специальные бункеры с какими-то особыми доступами, но пока админы туда доехали — прошло дополнительное время. Самое главное, что система конфигурации потеряла своё внутреннее состояние и админам пришлось заново настраивать всё руками — это заняло очень много времени.

Чинят тем, что 1) запретят подсистеме выключения задач тушить сразу несколько серваков 2) система не будут терять состояние при потушенных серверах (не придется настраивать её заново руками) 3) сеть будет дольше работать без внешней поддержки программой управления (самое очевидное решение).

❧

Не постесняюсь ещё раз напомнить, что бэкапы нужно держать у второго провайдера и регулярно тестировать восстановление.

Стремная автономная система из России анонсировала 80 префиксов таких компаний как Google, Apple, Facebook, Microsoft, Twitch и Riot Games. Вчера утром было два инцидента длительностью 3 минуты, роуты успели утечь в некоторые крупные провайдеры, так что часть трафика этих компаний какое-то время ходила через Россию. Почему такое возможно я объяснял на пальцах вот тут. Тот случай, когда «ночью наши учёные чуть-чуть изменят гравитационное поле Земли...»

Помните, в августе в Японии ломался интернет из-за утекших роутов?

Вчера была похожая история, на этот раз в Штатах у Level3 https://www.wired.com/story/how-a-tiny-error-shut-off-the-internet-for-parts-of-the-us/

В пятницу вечером в Японии сломался интернет. Настолько сломался, что министерство внутренних дел начало разбирательство.

BGPMon подробно объяснил, что случилось и я без зазрения совести ниже перескажу эту историю.

Помните, как в 2008 году пакистанский провайдер пытался заблокировать YouTube и случайно сломал его для большей части интернета? Это произошло из-за той же технологи, из-за которого японцы лишись интернета на прошлой неделе.

BGP - протокол, с помощью которого провайдеры обмениваются
«картами связности», говорят друг-другу, как можно отправить сообщение на любой компьютер в интернете.

Работает он примерно так: я говорю своим московским товарищам, что живу в Риге, частенько езжу в Москву (на сетевом языке это называется пиринг с Москвой) и могу передать посылку рижанам. Мои московские друзья передают эту информацию своим друзьям в Казани и теперь казанцы знают, что посылки рижанам можно переслать через Москву. Казанцы передают это сообщение дальше и скоро весь мир знает, что до Риги можно достучаться через меня. (При этом сами рижане вряд ли будут общаться через меня, ведь у них есть более короткий путь до соседа)

В 2008 Пакистанцы объявили, что пакеты в YouTube теперь ходят через них (чтобы потом их тихонько "дропать", то есть делать вид, что их и не было - классический способ блокировки). Скорее всего, они собирались так сказать только своим пользователям, но сообщение случайно утекло во внешний мир и скоро весь интернет пытался получить доступ к ютубу через Пакистан (безуспешно).

В пятницу произошла менее драматическая, но не менее опасная ситуация с Гуглом. Гугл пирится с огромным числом провайдеров, иначе YouTube и поиск не работали бы так быстро. Для того, чтобы трафик от гугла «ходил» напрямую и случайно не завернул через посредника, провайдеры анонсируют свои адреса гуглу специальным образом, имеющим наивысший приоритет. Около полудня пятницы, Гугл, случайно транслировал все эти приватные анонсы крупному провайдеру Verizon. Ошибка длилась 10 минут.

По-умолчанию, BGP-роутеры передают почти все анонсы соседям - так формируется связность интернета. Verizon - не исключение. Эти приватные анонсы быстро распространились и гуляли по BGP-сети ещё добрых полчаса.

Провайдеры стали пытаться передать данные друг-другу через цепочку Verizon-Google. Google вообще не занимается транзитом, а Verizon не рассчитывал на такие объемы. Многие остались без связи.

BGP - одна из технологий, во многом построенная на доверии профессионалов друг-к-другу. Тем болезненнее, когда они ошибаются.

Утренняя кулстори. Мой рижский провайдер берет внешний интернет у Lattelecom. Это местный аналог Ростелекома, крупнейший в Латвии, остатки советского наследия.

Так вот, недавно мы заметили, что некоторые заблокированные Роскомнадзором сайты не открываются и в Риге тоже. Выяснилось, что часть маршрутов у Латтелекома идут через русских провайдеров, которые не заморачиваться и блокируют доступ и на транзитном уровне.

После нашей просьбы Латтелеком перестроили маршруты для указанных адресов, обойдя злобных буратин, но сколько таких адресов я не заметил?

Это очень похоже на блокировку YouTube в 2008 году, когда Пакистан объявил, что ютуб нынче хостится в Исламабаде и большая часть сетевого оборудования им поверила.

Сложновато с цифровым суверенитетом в системе, придуманной для максимальной отказоустойчивости (в случае советской ядерной атаки, в том числе).