Проснулся сегодня утром в 03:00 ночи, в Манчестере взрыв и конечно же, именно в этот момент упал интернет в редакции. Кажется, что это же зааффектило моего телефонного провайдера, так что обычные телефонные звонки тоже не проходили.
Думаю о покупке аварийного телефона с двумя симками — передавать его между «компьютерщиками», чтобы всегда был гарантированный телефон для связи с технарями.
У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.
Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.
Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.
За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673
История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4
С пылу с жару, история от гитлаба. Как они на коленке продакшен базу спасали. Случайно выполнили команду удаления базы не на том сервере, а бэкапов, оказалось, нет.
So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place.
Guys, don't be too hard on yourself. Все мы там были. Несколько месяцев назад аналогичная история произошла в медузе - монга двухлетней давности оказалась без бэкапов. Обнаружили мы это после того, как случайно удалили не тот сервер в админке хостера.
Единственный способ быть уверенным, что все в порядке - попробовать поднять реплику продакшена без продакшена, тестировать не бэкапы, а recovery plan.
Наслаждайтесь: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub
Доброе утро и с Новым годом!
Помните про leap second? https://telegram.me/ctodaily/43
У инженеров Cloudflare была вот такая встреча Нового года https://www.cloudflarestatus.com/incidents/1fczgjmknplp
🌲✨🌞
Пользуетесь сервисами Яндекса для бизнеса? Этот пост для вас.
Только что в комметариях в фб у Тани Бибиковой (infotanka) произошло удивительное:
13 октября удалились все корпоративные ящики «Лаборатории данных» в Яндекс.Почте, без возможности восстановления, техподдержка отмораживается. В комментарии сразу же пришли друзья-яндексоиды, подключилось телефонное право.
6 декабря (!) Таня публикует описание, что случилось:
> Мы хотели дать админские права коллеге с адресом username@dl.ru, но оказалось, что Яндекс умеет только username@ya.ru делать админами. В итоге приглашение улетело левому чуваку, он пришёл и, не разобравшись, всё удалил.
Но самый огонь в том, что в комментариях нет никого из Яндекса, кто бы объяснил, что они сделали, чтобы такого не случилось в будущем. 🔥
Бесплатный сыр.
Жена температурит, я остался с детьми.
Ну и конечно же, fb выключил апи, которое мы использовали для получения числа шеров и лайков.
Боря быстро нашёл замену, но она оказалась с рейт-лимитами per user per hour. Слава Аллаху, у нас есть фб-приложение с сотней тысяч пользователей, так что в конце дня все заработало даже лучше, чем раньше, но я в результате целый день провёл в телефоне на детской площадке, а Боря тушил пожары вместе разработки крутого проекта.
Проблема не в том, что фб изменил апи, а в том, что мы об этом узнали пост фактум. В пн составлю список сервисов, от которых мы зависим и заведу их dev блоги в слек-канал с названием #api-changes. Вот так технические директора обретают опыт :(
