#инцидент

Github на прошлой неделе опубликовал postmortem, почему они лежали сутки. Язык тяжелый и перегружен жаргоном, executive summary отсутствует как класс, куча воды про «вы для нас очень важны». Текст — 3/5. Были бы на самом деле важны — сделали бы учения нормальные. Тоже мне engineering excellence.

Вспомнил, как именно сломался сервер с первой версией. Мы удалили его в админке хостера, перепутав один сервер с другим.

Такие дела.

Стремная автономная система из России анонсировала 80 префиксов таких компаний как Google, Apple, Facebook, Microsoft, Twitch и Riot Games. Вчера утром было два инцидента длительностью 3 минуты, роуты успели утечь в некоторые крупные провайдеры, так что часть трафика этих компаний какое-то время ходила через Россию. Почему такое возможно я объяснял на пальцах вот тут. Тот случай, когда «ночью наши учёные чуть-чуть изменят гравитационное поле Земли...»

Вчерашний студент удаляет продакшен базу данных в первый день работы, во время настройки рабочей среды. CTO винит студента и угрожает юристами. https://www.reddit.com/r/cscareerquestions/comments/6ez8ag/accidentally_destroyed_production_database_on/
Too good to be true, я так и вижу жирного 40-летнего тролля за клавиатурой.

Проснулся сегодня утром в 03:00 ночи, в Манчестере взрыв и конечно же, именно в этот момент упал интернет в редакции. Кажется, что это же зааффектило моего телефонного провайдера, так что обычные телефонные звонки тоже не проходили.

Думаю о покупке аварийного телефона с двумя симками — передавать его между «компьютерщиками», чтобы всегда был гарантированный телефон для связи с технарями.

История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4

С пылу с жару, история от гитлаба. Как они на коленке продакшен базу спасали. Случайно выполнили команду удаления базы не на том сервере, а бэкапов, оказалось, нет.

So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place.

Guys, don't be too hard on yourself. Все мы там были. Несколько месяцев назад аналогичная история произошла в медузе - монга двухлетней давности оказалась без бэкапов. Обнаружили мы это после того, как случайно удалили не тот сервер в админке хостера.

Единственный способ быть уверенным, что все в порядке - попробовать поднять реплику продакшена без продакшена, тестировать не бэкапы, а recovery plan.

Наслаждайтесь: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

Доброе утро и с Новым годом!

Помните про leap second? https://telegram.me/ctodaily/43

У инженеров Cloudflare была вот такая встреча Нового года https://www.cloudflarestatus.com/incidents/1fczgjmknplp

🌲✨🌞

Жена температурит, я остался с детьми.

Ну и конечно же, fb выключил апи, которое мы использовали для получения числа шеров и лайков.

Боря быстро нашёл замену, но она оказалась с рейт-лимитами per user per hour. Слава Аллаху, у нас есть фб-приложение с сотней тысяч пользователей, так что в конце дня все заработало даже лучше, чем раньше, но я в результате целый день провёл в телефоне на детской площадке, а Боря тушил пожары вместе разработки крутого проекта.

Проблема не в том, что фб изменил апи, а в том, что мы об этом узнали пост фактум. В пн составлю список сервисов, от которых мы зависим и заведу их dev блоги в слек-канал с названием #api-changes. Вот так технические директора обретают опыт :(