Basecamp уже несколько часов в read-only. У чуваков переполнились первичные ключи в таблице в базе (были в int, нужно было bigint).
Работы всё ещё идут, но они ведут идеальный status report и уже написали два детальных объяснения (сначала покороче и потом подлиннее), что идет не так, почему так получилось и что они делают для починки. ИДЕАЛЬНО.
Гугл опубликовал post-mortem про то, почему в среду Google Cloud Global Loadbalancer лежал по всему миру полчаса. Это big deal, потому что одно из базовых обещаний крупных облачных вендоров — никаких кросс-региональных проблем. Деплоите свой супер важный сайт на 2 региона и считаете, что по хостингу SLA 100%. Ага.
Баг в коде не словили на стейджинге и на тестовой раскладке, потому что он проявлялся только при определенной конфигурации.
Интересно, что они заметили проблему через 2 минуты после её начала, 25 минут прогали фикс, 5 минут оно раскатывалось по продакшену и ещё 6 минут приходило в норму.
Жаркие же 36 минут это были для инженеров на дежурстве!
Упал OVH.
Легли две независимые 20kV линии питания и одновременно легла оптика до основных площадок обмена трафиком в Европе.
Недоступны Ведомости, Росбалт, Знак.ком.
Лучи поддержки коллегам.
Статус-страница ovh тоже лежит, но за развитием событий можно следить в твиттере основателя https://twitter.com/olesovhcom
У Scaleway серьезные проблемы — серверы уходят в даун и не возвращаются.
Лучше никаких изменений в админке не делать.
https://status.online.net/index.php?do=details&task_id=1050
Интересно, лежащая тильда с этим же связана? http://glavredglavred.tilda.ws, например
У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.
Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.
Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.
За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673