Basecamp уже несколько часов в read-only. У чуваков переполнились первичные ключи в таблице в базе (были в int, нужно было bigint).
Работы всё ещё идут, но они ведут идеальный status report и уже написали два детальных объяснения (сначала покороче и потом подлиннее), что идет не так, почему так получилось и что они делают для починки. ИДЕАЛЬНО.
Очень неприятная история с потерей данных на гитхабе.
Если у вас активная разработка и пул-реквесты конкурируют между собой при мерже в main, то гитхаб предлагает решить это через merge queue, который мержит PR-ы по очереди.
Так вот из-за бага в коде, часть ранее замерженных коммитов пропадала из main в течение четырех с половиной часов начиная с 2026-04-23 16:05 UTC.
Страшно представить, как такое дебагать.
И как вообще вести разработку, если не можешь доверять системе контроля версий, что она не потеряет коммиты? 🤷♂️
Уверен, что по всему миру инженеры думали, что сходят с ума.
Ну а дальше github предлагает исправлять это руками... Sic transit gloria mundi
В Канаде авария у крупнейшего интернет-провайдера Rogers, интернета (а в некоторых случаях даже телефона) нет у десятков миллионов клиентов. Причины аварии пока неизвестны. Надеюсь, хоть тут обошлось без русских хакеров.
Если у вас не открываются какие-то западные сайты и приложения (привет, hackernews) — это может быть связано. Наши клиенты из Канады просто написали «мы сегодня оффлайн».
Прямо сейчас Rogers пытается купить другого крупного канадского провайдера, Shaw Communications, за 20 млрд канадских долларов. Интересно, повлияет ли авария на сделку, не вмешаются ли регуляторы — уж больно показательная история.
Стремная автономная система из России анонсировала 80 префиксов таких компаний как Google, Apple, Facebook, Microsoft, Twitch и Riot Games. Вчера утром было два инцидента длительностью 3 минуты, роуты успели утечь в некоторые крупные провайдеры, так что часть трафика этих компаний какое-то время ходила через Россию. Почему такое возможно я объяснял на пальцах вот тут. Тот случай, когда «ночью наши учёные чуть-чуть изменят гравитационное поле Земли...»
Удивительно наблюдать, как гиганты (не)справляются с вайб-кодингом:
Github потерял последнюю девятку в своем SLA. Отдельно замечу, что status page вендоров уже давно нельзя верить и вот люди собрали собственный, народный.
Амазон был вынужден сильно замедлить выкатку фич после падений и теперь требует сениор-ревью перед релизами.
Хотя казалось бы, уж у них-то должны быть и автоматизированные тесты и легион ручных QA-инженеров!
Вот целый список подобных падений, с оценкой, сколько пользователей они задели.
С одной стороны, нужны нормальные процессы, чтобы слоп не лез в продакшен и были хотя бы пара живых людей, которые понимают, что там происходит под капотом в сложной системе.
С другой стороны, мы сейчас во временном переходном периоде, когда ещё есть программисты, которые не умеют ставить задачи (хотя и умеют писать код самостоятельно) и с этим нужно что-то делать.
В общем, быть техдиром опять становится интересно.
«В России второй день не выдают права и не регистрируют автомобили. Серверы ГИБДД залило водой».
Во первых, помещение для серверов, которое залило водой — в 2021 году звучит как нонсенс. Современный дата-центр — это не амбар, в котором серверы стоят под трубами с водой и потолок протекает. Рекомендую эпизод нашего подкаста про дата-центры, чтобы стало понятно, почему это звучит как бред.
Во вторых, у подобных систем обязаны быть чётко прописанные процедуры восстановления из бэкапов, то есть запасных копий данных. Что не менее важно, эти процедуры проверяют в ходе регулярных «учений». Если вы подобных учений не проводите — хороший повод начать.
Гитхаб в последнее время сильно сбоит.
В дополнение к инциденту с merge queue, за последние дни успели сломаться поиск и показ пул-реквестов.
Техдир сервиса Владимир Федоров в своем покаянном посте пишет, что причина — во взрывном росте активности на платформе из-за нейросетей (см картинку).
Обещает, что теперь они будут работать над стабильностью, масштабируемость и перестанут гнаться за фичами.
Внешние наблюдатели подозревают две причины: 1) плохой вайбкодинг в Microsoft 2) сложный переезд с собственной инфраструктуры на Azure.
И вот уже знаменитый Митчел Хашимото пишет длинный эмоциональный пост, что уносит репозиторий своего проекта ghostty с гитхаба.
❧
Создать git репозиторий можно без всяких сервисов — это просто файлы на диске. Гитхаб выигрывает за счет удобного контроля доступа, интеграции с ci/cd инструментами, удобного веб-интерфейса для комментирования и тысячи мелочей.
Есть десятки конкурентов, но ни один не дотягивает до качества github. Раньше это был «лучший инструмент, который можно купить за деньги», а теперь он становится одним из многих, со своими плюсами и минусами. Прямо падение гиганта.
Конечно, у таких сервисов огромная инерция, но очень интересно, куда побегут «модные ребята», которые задают тренды. Будет ли это новый классический конкурент со взрывным ростом или что-то распределенное и децентрализованное, соответствующее базовой философии гита?
У Амазона лежал сайт сразу после начала дня скидок Prime Day. Тонны денег вложены в рекламу, за 40 часов Амазон планирует продать товаров на 4 миллиарда долларов и сайт сломался. Не боги горшки обжигают.
Жаль, что post mortem вряд ли появится в публичном доступе :(
В Германии уже третий час не ходят поезда, упала специальная сотовая сеть GSM-R, которая поддерживает связь между машинистами и диспетчерами и обмен технической информацией между поездами. Чтобы не было столкновений, все поезда встали.
На немецком ЖД-реддите ходят слухи, что причина в кривом обновлении софта.
Я и не знал, что у поездов есть своя сотовая сеть из 90-х. У нас уже 5G, а поезда на 2G.
Вообще, в этом вся суть инфраструктуры: пока всё работает — никто не замечает. Я восхищаюсь инфраструктурой, и чем более базовая — тем круче. Надеюсь, когда-нибудь возьму интервью у инженера, который занимается водопроводом и канализацией.
P. S. Недавно узнал, как работали римские акведуки. Там, оказывается, вода становилась чистая за счет точно рассчитанного наклона трубы; вода течет медленно и вся грязь оседает, но и не слишком медленно, чтобы не застаивалась. 🪄
Подробная и полезная статья, как один стартап боролся с мощной DDoS атакой.
История очень хорошо написана. Например, число одновременных соединений они измеряют в подписчиках твиттера Джастина Бибера. Почитайте, оно того стоит.
Практическое: они жили на AWS и подключили услугу AWS Shield Advanced — это когда anti-DDoS специалисты амазона помогают разобраться с вашей конкретной атакой. Стоит 3k$ в месяц, договор на год. Чувакам очень понравилось, и я возьму на заметку.
