Cloudflare опять упал, Zoom поэтому не работает (и половина интернета вместе с ним), не удивляйтесь.
Upd: поднялись в течении 20 минут.
авария
Помните, на прошлой неделе Cloudflare упал и уронил половину интернета?
Они пишут одни из лучших post-mortem’ов в индустрии. Последний — не исключение.
Круто, что они опубликовали его прямо в день падения. Обычно, одни согласования с юристами занимают дни.
Но самое впечатляющее для меня в этой истории — вот этот комментарий пользователя eastdakota на форуме hacker news.
Это Мэтью Принс, основатель и генеральный директор компании, которая обслуживает 20% всего интернет-трафика, рассказывает, как он сначала сидел на созвоне по починке аварии, а потом пригласил к себе домой бывшего техдира (тот захватил сына, показать, какая у папы работа) и главного юриста компании и они на троих сообразили текст в гугл-доке. Задали в нем вопросы технарям компании. Заказали еды. Включили ответы на вопросы в текст. Дали вычитать технарям. И опубликовали. И получился пост-мортем. ❤️
Все заметили, что в последние недели Клод отупел и жрет токены как не в себя.
Ходили слухи, что это потому что у Антропика не хватает видеокарт.
Теперь они утверждают, что дело в ошибке в их обвязке Claude Code и что «они никогда не отупляют модели специально». Выпустили исправление и сбросили лимиты токенов в этом месяце. Подробное объяснение тут
В Германии уже третий час не ходят поезда, упала специальная сотовая сеть GSM-R, которая поддерживает связь между машинистами и диспетчерами и обмен технической информацией между поездами. Чтобы не было столкновений, все поезда встали.
На немецком ЖД-реддите ходят слухи, что причина в кривом обновлении софта.
Я и не знал, что у поездов есть своя сотовая сеть из 90-х. У нас уже 5G, а поезда на 2G.
Вообще, в этом вся суть инфраструктуры: пока всё работает — никто не замечает. Я восхищаюсь инфраструктурой, и чем более базовая — тем круче. Надеюсь, когда-нибудь возьму интервью у инженера, который занимается водопроводом и канализацией.
P. S. Недавно узнал, как работали римские акведуки. Там, оказывается, вода становилась чистая за счет точно рассчитанного наклона трубы; вода течет медленно и вся грязь оседает, но и не слишком медленно, чтобы не застаивалась. 🪄
Гитхаб в последнее время сильно сбоит.
В дополнение к инциденту с merge queue, за последние дни успели сломаться поиск и показ пул-реквестов.
Техдир сервиса Владимир Федоров в своем покаянном посте пишет, что причина — во взрывном росте активности на платформе из-за нейросетей (см картинку).
Обещает, что теперь они будут работать над стабильностью, масштабируемость и перестанут гнаться за фичами.
Внешние наблюдатели подозревают две причины: 1) плохой вайбкодинг в Microsoft 2) сложный переезд с собственной инфраструктуры на Azure.
И вот уже знаменитый Митчел Хашимото пишет длинный эмоциональный пост, что уносит репозиторий своего проекта ghostty с гитхаба.
❧
Создать git репозиторий можно без всяких сервисов — это просто файлы на диске. Гитхаб выигрывает за счет удобного контроля доступа, интеграции с ci/cd инструментами, удобного веб-интерфейса для комментирования и тысячи мелочей.
Есть десятки конкурентов, но ни один не дотягивает до качества github. Раньше это был «лучший инструмент, который можно купить за деньги», а теперь он становится одним из многих, со своими плюсами и минусами. Прямо падение гиганта.
Конечно, у таких сервисов огромная инерция, но очень интересно, куда побегут «модные ребята», которые задают тренды. Будет ли это новый классический конкурент со взрывным ростом или что-то распределенное и децентрализованное, соответствующее базовой философии гита?
Очень неприятная история с потерей данных на гитхабе.
Если у вас активная разработка и пул-реквесты конкурируют между собой при мерже в main, то гитхаб предлагает решить это через merge queue, который мержит PR-ы по очереди.
Так вот из-за бага в коде, часть ранее замерженных коммитов пропадала из main в течение четырех с половиной часов начиная с 2026-04-23 16:05 UTC.
Страшно представить, как такое дебагать.
И как вообще вести разработку, если не можешь доверять системе контроля версий, что она не потеряет коммиты? 🤷♂️
Уверен, что по всему миру инженеры думали, что сходят с ума.
Ну а дальше github предлагает исправлять это руками... Sic transit gloria mundi
Удивительно наблюдать, как гиганты (не)справляются с вайб-кодингом:
Github потерял последнюю девятку в своем SLA. Отдельно замечу, что status page вендоров уже давно нельзя верить и вот люди собрали собственный, народный.
Амазон был вынужден сильно замедлить выкатку фич после падений и теперь требует сениор-ревью перед релизами.
Хотя казалось бы, уж у них-то должны быть и автоматизированные тесты и легион ручных QA-инженеров!
Вот целый список подобных падений, с оценкой, сколько пользователей они задели.
С одной стороны, нужны нормальные процессы, чтобы слоп не лез в продакшен и были хотя бы пара живых людей, которые понимают, что там происходит под капотом в сложной системе.
С другой стороны, мы сейчас во временном переходном периоде, когда ещё есть программисты, которые не умеют ставить задачи (хотя и умеют писать код самостоятельно) и с этим нужно что-то делать.
В общем, быть техдиром опять становится интересно.
Опять Github Actions лежат, не справляются с потоками ИИ-разработки.
Ищем, на что переехать, потому что уже начинает мешать работать.
Upd: многие коллеги советуют раннеры для GitHub actions, которые могут исполнять задачи быстрее или дешевле, но они не помогут в ситуации, когда gh actions лежат. Из реальных альтернатив пока видны gitea (forgejo) и gitlab. Если еще есть идеи — буду рад услышать!
Upd2: кстати, они недавно публиковали постмортем прошлого падения. И там классические ошибки вроде отсутствия exponential back off и прочих, но в посте СТО, это подавалось, конечно, под соусом «у нас тут невиданная нагрузка». Нагрузка невиданная, а ошибки мы эти все видели и сами совершали :)
Cloudflare падал; если не могли открыть сайт или глючило приложение в последние 4 часа — скорее всего из-за этого.
CF — главный CDN/анти-дидос на свете, он стоит между пользователями и серверами, которые оберегает от лишних нагрузок. Поэтому когда падает CF, то это как если сломался удлинитель — не важно, что электричество в розетке есть, до нас оно не дойдет.
Интересно, что во время аварии не работала и панель управления администратора, так что нельзя было выключить его хотя бы на время.
Кстати, российские сайты это задело мало. РКН регулярно блокирует Cloudflare, так что все, кому важны пользователи из РФ, уже давно перешли на другие решения. Такая вот устойчивость интернета.
