авария

Я сейчас пишу пост про пуши и прекрасный Google Firebase, а тут такая вот свежая страшилка про SaaS в целом и Firebase, в частности.

Компания написала систему автоматизации умного дома, довольно успешную, установила её на десятки тысяч домов по всему миру. В каждом доме, программа запрашивала определенный файлик раз в минуту с серверов Firebase, чтобы определить, нужно ей что-то делать или нет. И всё было классно, пока Firebase не поменял какие-то кишочки и не начал биллить весь TLS трафик, а не только полезный payload.

Счет в Firebase вырос с 25$ в месяц (так было несколько лет) до 1750$ в месяц и продолжает расти. Способа обновить программу у пользователей, чтобы она не использовала Firebase — не существует (IoT, маленькие железки). Техподдержка Firebase сначала что-то отвечала, потом просто пропала с радаров.

Дальше автор статьи предлагает делать свои прокси перед любыми SaaSами. Помню, обещал такое сделать в Медузе примерно полгода назад, когда Слек сломался.

P.S. Этот пост я написал на прошлой неделе, с того времени поднялся хайп на hackernews. Firebase, конечно же, вышел на связь (сам founder & CEO Firebase отметился в medium replies) и всё быстро починил. Такой вот уровень техподдержки.

Проснулся сегодня утром в 03:00 ночи, в Манчестере взрыв и конечно же, именно в этот момент упал интернет в редакции. Кажется, что это же зааффектило моего телефонного провайдера, так что обычные телефонные звонки тоже не проходили.

Думаю о покупке аварийного телефона с двумя симками — передавать его между «компьютерщиками», чтобы всегда был гарантированный телефон для связи с технарями.

У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.

Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.

Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.

За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673

История ещё не закончилась - админы продолжают восстанавливать эту многострадальную базу до сих пор - в прямом эфире! Стабильно 5000 вьюверов. https://m.youtube.com/watch?v=nc0hPGerSd4

С пылу с жару, история от гитлаба. Как они на коленке продакшен базу спасали. Случайно выполнили команду удаления базы не на том сервере, а бэкапов, оказалось, нет.

So in other words, out of 5 backup/replication techniques deployed none are working reliably or set up in the first place.

Guys, don't be too hard on yourself. Все мы там были. Несколько месяцев назад аналогичная история произошла в медузе - монга двухлетней давности оказалась без бэкапов. Обнаружили мы это после того, как случайно удалили не тот сервер в админке хостера.

Единственный способ быть уверенным, что все в порядке - попробовать поднять реплику продакшена без продакшена, тестировать не бэкапы, а recovery plan.

Наслаждайтесь: https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

Доброе утро и с Новым годом!

Помните про leap second? https://telegram.me/ctodaily/43

У инженеров Cloudflare была вот такая встреча Нового года https://www.cloudflarestatus.com/incidents/1fczgjmknplp

🌲✨🌞

Пользуетесь сервисами Яндекса для бизнеса? Этот пост для вас.

Только что в комметариях в фб у Тани Бибиковой (infotanka) произошло удивительное:

https://www.facebook.com/photo.php?fbid=10154281029159597&set=a.10151249640244597.475532.772799596&type=3

13 октября удалились все корпоративные ящики «Лаборатории данных» в Яндекс.Почте, без возможности восстановления, техподдержка отмораживается. В комментарии сразу же пришли друзья-яндексоиды, подключилось телефонное право.

6 декабря (!) Таня публикует описание, что случилось:
> Мы хотели дать админские права коллеге с адресом username@dl.ru, но оказалось, что Яндекс умеет только username@ya.ru делать админами. В итоге приглашение улетело левому чуваку, он пришёл и, не разобравшись, всё удалил.

Но самый огонь в том, что в комментариях нет никого из Яндекса, кто бы объяснил, что они сделали, чтобы такого не случилось в будущем. 🔥

Бесплатный сыр.

Жена температурит, я остался с детьми.

Ну и конечно же, fb выключил апи, которое мы использовали для получения числа шеров и лайков.

Боря быстро нашёл замену, но она оказалась с рейт-лимитами per user per hour. Слава Аллаху, у нас есть фб-приложение с сотней тысяч пользователей, так что в конце дня все заработало даже лучше, чем раньше, но я в результате целый день провёл в телефоне на детской площадке, а Боря тушил пожары вместе разработки крутого проекта.

Проблема не в том, что фб изменил апи, а в том, что мы об этом узнали пост фактум. В пн составлю список сервисов, от которых мы зависим и заведу их dev блоги в слек-канал с названием #api-changes. Вот так технические директора обретают опыт :(