авария

Жена температурит, я остался с детьми.

Ну и конечно же, fb выключил апи, которое мы использовали для получения числа шеров и лайков.

Боря быстро нашёл замену, но она оказалась с рейт-лимитами per user per hour. Слава Аллаху, у нас есть фб-приложение с сотней тысяч пользователей, так что в конце дня все заработало даже лучше, чем раньше, но я в результате целый день провёл в телефоне на детской площадке, а Боря тушил пожары вместе разработки крутого проекта.

Проблема не в том, что фб изменил апи, а в том, что мы об этом узнали пост фактум. В пн составлю список сервисов, от которых мы зависим и заведу их dev блоги в слек-канал с названием #api-changes. Вот так технические директора обретают опыт :(

Большая часть облачных сервисов AWS лежала почти 3 часа. Если у вас глючили Слек, Зум, Сигнал и прочие — это всё от этого. Уже поднимаются. Официальный статус тут.

Как обычно, система поддержки AWS тоже легла. Говорят, что из-за проблем с DNS отвалилась база данных DynamoDB на восточном побережье США, ну а дальше эффект домино. Ждем официального post mortem.

Время шутки, что один сервак в hetzner может дать больший аптайм, чем вся современная облачная инфраструктура.

В 21:46 мск отказала большая часть гугловского облака GCP. Ходят слухи, что всё из-за одного ключевого технического внутреннего сервиса, но в результате в разной степени поломались гугловские продукты, вроде Cloud, Drive, Meet, Gmail.

Предположительно, из-за этого начал глючить Cloudflare, один из самых популярных CDN-провайдеров.

Дальше по цепочке легла половина интернета — Spotify, Discord, Snapchat и тысячи других. Особенно тревожно, что для многих людей сломался RCS — это протокол, продвигаемый Гуглом, который должен заменить смски.

Предвкушаю увлекательные постмортемы от Гугла и Cloudflare, последние уж точно не упустят шанса рассказать, что это было.

В тысячах инженерных команд по всему мира сейчас была жара — все тушили пожары. А завтра все сядут составлять списки, что нужно поменять, чтобы в следующий раз было не так больно. Так и живем.

P. S. Про одновременное падение Amazon Web Services — кажется дезинформация.

Хероку (один из лучших облачных хостингов) взломали примерно 15 апреля (ну, они узнали о взломе 15 апреля), но насколько все плохо и к чему получили доступ взломщики — неизвестно.

Сегодня вот прислали письмо, что принудительно сбросят пароли для моей безопасности.

Ссылаются на «предыдущие уведомления», но никаких уведомлений в почте, конечно, нет.

Два варианта: либо их вообще целиком взломали и пиарщики хорошо наводят муть, либо, что более вероятно, компания стоимостью в миллиарды долларов, нацеленная на разработчиков, не умеет говорить с этими самыми разработчиками об инцидентах безопасности. Не боги горшки обжигают, а скорее — король голый :(

Пример, как не писать о взломах — тут, стенания hackernews по теме — здесь.

По делу: сбросьте пароли, секреты и токены, которые хранились в хероку или засветились в логах внутри хероку и молитесь.

P. S. Иронично, что Хероку отказался предоставлять сервис пользователям из России, так что Федя перенёс все приложения из Хероку на собственные серверы месяц назад.

Фейсбук упал, так что если фб, инстаграм или даже вацап просят ввести пароль и говорят, что он неправильный — не спешите паниковать. Это техническая ошибка, уже почти час не могут починить.

Страница со статусом инфраструктуры ФБ тоже работает через раз — видимо, что-то серьезное.

Ходят слухи, что это может быть связано с подводным интернет-кабелем, который хуситы перерезали в красном море. С нетерпением ждем постмортем от мета-инженеров.

Я сейчас пишу пост про пуши и прекрасный Google Firebase, а тут такая вот свежая страшилка про SaaS в целом и Firebase, в частности.

Компания написала систему автоматизации умного дома, довольно успешную, установила её на десятки тысяч домов по всему миру. В каждом доме, программа запрашивала определенный файлик раз в минуту с серверов Firebase, чтобы определить, нужно ей что-то делать или нет. И всё было классно, пока Firebase не поменял какие-то кишочки и не начал биллить весь TLS трафик, а не только полезный payload.

Счет в Firebase вырос с 25$ в месяц (так было несколько лет) до 1750$ в месяц и продолжает расти. Способа обновить программу у пользователей, чтобы она не использовала Firebase — не существует (IoT, маленькие железки). Техподдержка Firebase сначала что-то отвечала, потом просто пропала с радаров.

Дальше автор статьи предлагает делать свои прокси перед любыми SaaSами. Помню, обещал такое сделать в Медузе примерно полгода назад, когда Слек сломался.

P.S. Этот пост я написал на прошлой неделе, с того времени поднялся хайп на hackernews. Firebase, конечно же, вышел на связь (сам founder & CEO Firebase отметился в medium replies) и всё быстро починил. Такой вот уровень техподдержки.

Новостной эпизод подкаста сегодня по мотивам падения фб.

Гости: технический директор ВКонтакте Александр Тоболь и глава сетевой инфраструктуры Mail.ru Group Елена Якупова 🔥

Разбираемся, как устроен интернет, компьютерные сети и что это за работа такая — сетевой инженер, который может одним движением сломать крупнейшие сервисы на планете. Строим гипотезы, что произошло в фб и вспоминаем истории из своей практики.

Записывались прям ночью во вторник, очень старались успеть к четвергу :)

Слушайте и подписывайтесь: Apple, Google, Castbox, Spotify, Яндекс, Overcast, веб-версия.

Ходят слухи (пикабу, хабр), что Яндекс вчера случайно удалил виртуальные серверы клиентов в своем облаке (человеческий фактор).

Это отличное напоминание настроить бекапы (если вдруг их нет) и проверить, как работают процедуры восстановления.

Я не собираюсь шеймить яндекс за потерю данных клиентов — технических проблем в любом сложном проекте не избежать. Разбираться с такими ситуациями и улучшать системы по полученным урокам — часть нормальной работы. Если система построена правильно, то вероятность аналогичной аварии в будущем сильно упала.

Внушают опасение слухи, что клиентам написали письма о проблеме только через несколько часов и никакой публичной реакции Яндекса на ситуацию до сих пор нет.

Интересно, там было затронуто так мало машин, что они не видят видят причин официально комментировать? Классическое «это затронуло 0.004% клиентов и вот что мы сделали, чтобы такого больше не случилось» — тоже часть работы.

30 января на несколько часов сломались сайты .ru

Это произошло из-за проблем с DNS — одним из старейших протоколов интернета, которым мы пользуемся до сих пор.

Обсудили с сотрудником ICANN Мишей Анисимовым, как он устроен и что пошло не так. Слушайте здесь: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

В пятницу вечером в Японии сломался интернет. Настолько сломался, что министерство внутренних дел начало разбирательство.

BGPMon подробно объяснил, что случилось и я без зазрения совести ниже перескажу эту историю.

Помните, как в 2008 году пакистанский провайдер пытался заблокировать YouTube и случайно сломал его для большей части интернета? Это произошло из-за той же технологи, из-за которого японцы лишись интернета на прошлой неделе.

BGP - протокол, с помощью которого провайдеры обмениваются
«картами связности», говорят друг-другу, как можно отправить сообщение на любой компьютер в интернете.

Работает он примерно так: я говорю своим московским товарищам, что живу в Риге, частенько езжу в Москву (на сетевом языке это называется пиринг с Москвой) и могу передать посылку рижанам. Мои московские друзья передают эту информацию своим друзьям в Казани и теперь казанцы знают, что посылки рижанам можно переслать через Москву. Казанцы передают это сообщение дальше и скоро весь мир знает, что до Риги можно достучаться через меня. (При этом сами рижане вряд ли будут общаться через меня, ведь у них есть более короткий путь до соседа)

В 2008 Пакистанцы объявили, что пакеты в YouTube теперь ходят через них (чтобы потом их тихонько "дропать", то есть делать вид, что их и не было - классический способ блокировки). Скорее всего, они собирались так сказать только своим пользователям, но сообщение случайно утекло во внешний мир и скоро весь интернет пытался получить доступ к ютубу через Пакистан (безуспешно).

В пятницу произошла менее драматическая, но не менее опасная ситуация с Гуглом. Гугл пирится с огромным числом провайдеров, иначе YouTube и поиск не работали бы так быстро. Для того, чтобы трафик от гугла «ходил» напрямую и случайно не завернул через посредника, провайдеры анонсируют свои адреса гуглу специальным образом, имеющим наивысший приоритет. Около полудня пятницы, Гугл, случайно транслировал все эти приватные анонсы крупному провайдеру Verizon. Ошибка длилась 10 минут.

По-умолчанию, BGP-роутеры передают почти все анонсы соседям - так формируется связность интернета. Verizon - не исключение. Эти приватные анонсы быстро распространились и гуляли по BGP-сети ещё добрых полчаса.

Провайдеры стали пытаться передать данные друг-другу через цепочку Verizon-Google. Google вообще не занимается транзитом, а Verizon не рассчитывал на такие объемы. Многие остались без связи.

BGP - одна из технологий, во многом построенная на доверии профессионалов друг-к-другу. Тем болезненнее, когда они ошибаются.