запуск завтра
о каналепоиск

авария

Стремная автономная система из России анонсировала 80 префиксов таких компаний как Google, Apple, Facebook, Microsoft, Twitch и Riot Games. Вчера утром было два инцидента длительностью 3 минуты, роуты успели утечь в некоторые крупные провайдеры, так что часть трафика этих компаний какое-то время ходила через Россию. Почему такое возможно я объяснял на пальцах вот тут. Тот случай, когда «ночью наши учёные чуть-чуть изменят гравитационное поле Земли...»

Обрыв двух независимых 20kV линии питания и всей оптики до основных площадок обмена трафиком в Европе — не очень частая ситуация. Тем более хороший повод повторить основные правила.

Идеальная схема — когда запросы идут параллельно на две площадки у двух не-аффилированных провайдеров (не два ДЦ у одного и того же провайдера, а прямо разные компании). Админ в Букмейте был из старой гвардии Яндекса и поддерживал такое. В таком сетапе падение одного провайдера проходит незаметно для читателей. Это обычно сложно технически и стоит денег по ресурсам.

Чуть похуже — горячая замена (опять же у отдельного провайдера). Это когда есть копия полностью рабочего сервиса, которая стоит ждет своего времени. В этом случае вы упадете, но минут на 10. Это проще технически, но стоит денег — половина железа «простаивает».

Уровень пониже – иметь систему, позволяющую быстро развернуть сетап у другого провайдера. Договор или аккаунт с нормальными лимитами, система управления конфигами типа ansible и тд и тп. Ну и свежие бэкапы, конечно же. В этом случае ожидаемый простой — часы.

В противном случае – молимся, постимся и слушаем радио Радонеж при каждом падении.

Упал OVH.

Легли две независимые 20kV линии питания и одновременно легла оптика до основных площадок обмена трафиком в Европе.

Недоступны Ведомости, Росбалт, Знак.ком.

Лучи поддержки коллегам.

Статус-страница ovh тоже лежит, но за развитием событий можно следить в твиттере основателя https://twitter.com/olesovhcom

Прямо сейчас часть корневых серверов .io вместо правильных NS-ответов (списка серверов, на которых вы хостите свои DNS-записи) возвращает тыкву.

Из-за этого могут не открываться сайты в зоне .io, например, meduza.io

Всего два месяца назад у них обнаружили уязвимость, через которую можно было сделать MitM атаку на все домены зоны, а теперь вот это. Руки бы поотрывать и передать зону в управление Verisign.

Обсуждение вот тут https://news.ycombinator.com/item?id=15293578

В пятницу вечером в Японии сломался интернет. Настолько сломался, что министерство внутренних дел начало разбирательство.

BGPMon подробно объяснил, что случилось и я без зазрения совести ниже перескажу эту историю.

Помните, как в 2008 году пакистанский провайдер пытался заблокировать YouTube и случайно сломал его для большей части интернета? Это произошло из-за той же технологи, из-за которого японцы лишись интернета на прошлой неделе.

BGP - протокол, с помощью которого провайдеры обмениваются
«картами связности», говорят друг-другу, как можно отправить сообщение на любой компьютер в интернете.

Работает он примерно так: я говорю своим московским товарищам, что живу в Риге, частенько езжу в Москву (на сетевом языке это называется пиринг с Москвой) и могу передать посылку рижанам. Мои московские друзья передают эту информацию своим друзьям в Казани и теперь казанцы знают, что посылки рижанам можно переслать через Москву. Казанцы передают это сообщение дальше и скоро весь мир знает, что до Риги можно достучаться через меня. (При этом сами рижане вряд ли будут общаться через меня, ведь у них есть более короткий путь до соседа)

В 2008 Пакистанцы объявили, что пакеты в YouTube теперь ходят через них (чтобы потом их тихонько "дропать", то есть делать вид, что их и не было - классический способ блокировки). Скорее всего, они собирались так сказать только своим пользователям, но сообщение случайно утекло во внешний мир и скоро весь интернет пытался получить доступ к ютубу через Пакистан (безуспешно).

В пятницу произошла менее драматическая, но не менее опасная ситуация с Гуглом. Гугл пирится с огромным числом провайдеров, иначе YouTube и поиск не работали бы так быстро. Для того, чтобы трафик от гугла «ходил» напрямую и случайно не завернул через посредника, провайдеры анонсируют свои адреса гуглу специальным образом, имеющим наивысший приоритет. Около полудня пятницы, Гугл, случайно транслировал все эти приватные анонсы крупному провайдеру Verizon. Ошибка длилась 10 минут.

По-умолчанию, BGP-роутеры передают почти все анонсы соседям - так формируется связность интернета. Verizon - не исключение. Эти приватные анонсы быстро распространились и гуляли по BGP-сети ещё добрых полчаса.

Провайдеры стали пытаться передать данные друг-другу через цепочку Verizon-Google. Google вообще не занимается транзитом, а Verizon не рассчитывал на такие объемы. Многие остались без связи.

BGP - одна из технологий, во многом построенная на доверии профессионалов друг-к-другу. Тем болезненнее, когда они ошибаются.

Вчерашний студент удаляет продакшен базу данных в первый день работы, во время настройки рабочей среды. CTO винит студента и угрожает юристами. https://www.reddit.com/r/cscareerquestions/comments/6ez8ag/accidentally_destroyed_production_database_on/
Too good to be true, я так и вижу жирного 40-летнего тролля за клавиатурой.

Я сейчас пишу пост про пуши и прекрасный Google Firebase, а тут такая вот свежая страшилка про SaaS в целом и Firebase, в частности.

Компания написала систему автоматизации умного дома, довольно успешную, установила её на десятки тысяч домов по всему миру. В каждом доме, программа запрашивала определенный файлик раз в минуту с серверов Firebase, чтобы определить, нужно ей что-то делать или нет. И всё было классно, пока Firebase не поменял какие-то кишочки и не начал биллить весь TLS трафик, а не только полезный payload.

Счет в Firebase вырос с 25$ в месяц (так было несколько лет) до 1750$ в месяц и продолжает расти. Способа обновить программу у пользователей, чтобы она не использовала Firebase — не существует (IoT, маленькие железки). Техподдержка Firebase сначала что-то отвечала, потом просто пропала с радаров.

Дальше автор статьи предлагает делать свои прокси перед любыми SaaSами. Помню, обещал такое сделать в Медузе примерно полгода назад, когда Слек сломался.

P.S. Этот пост я написал на прошлой неделе, с того времени поднялся хайп на hackernews. Firebase, конечно же, вышел на связь (сам founder & CEO Firebase отметился в medium replies) и всё быстро починил. Такой вот уровень техподдержки.