У Майкрософта уже больше суток лежит электронная почта exchange online, которой пользуются организации (от бизнесов и школ до целых министерств), чтобы выдавать почтовые адреса на своих доменах, и при этом не заморачиваться со своими серверами.
Интересно, что проблемы были почти по всему миру, хотя, казалось бы, организации в Европе и Японии могли бы жить на изолированной инфраструктуре.
По предварительным сообщениям, триггером аварии стали изменения сетевой конфигурации, а добила упавшего система автоматического контроля, которая стала помечать живые сервера как недоступные и выводить их из оборота. В общем, классика, почти слово в слово как у гугла и амазона недавно.
Японским министерствам пришлось на день вернуться на бумагу, брокерам звонить друг другу по телефону, а больным в Британии — подождать с рецептами лекарств.
Удивительно, как мало серьезные организации заботятся о бекапах и graceful degradation. Это показывает, насколько молода цифровая инфраструктура. Вот в электрической сети защита на защите: и двойные подключения у важных объектов, и дизель генераторы с регулярной ротацией топлива на критическую инфраструктуру, и батарейки, пока включится дизель.
Ничего, и у нас айтишников все это будет, если доживем как цивилизация. Лично я обожаю планировать подобные катастрофические сценарии, проводить учения и т. д. У редких организаций, которые вкладываются в эти задачи, защита уже есть — будущее уже наступило, просто оно распределено неравномерно.
Про то, что ничего за это Майкрософту не будет — даже говорить нечего. Too big to fail. Даже контракт никто не заберет. Потому что 1) переезд боль 2) у условного гугла будет то же самое 3) поддерживать свой собственный сервер — дороже, а посчитать стоимость простоя — сложно.
Майкрософт отдельно подчеркивает, что это не последствия кибератаки. Причин не верить нет, но учитывая текущий климат безопасности — не удивлюсь, если в будущем кто-то «устроит» «аварию». Меньше привлекает внимание.
Сочувствую инженерам, у которых впереди горячие выходные и при этом хорошо, что впереди два дня выходных — меньше урон.
Dmitry
Мне кажется большим анти-драйвером того что мало у кого есть такие системы - это доп стоимость на кастомера.
🔥️😍️
Alex Yumashev
Ну как «ничего не будет»… акции подешевели довольно заметно сегодня
Samat Galimov
Прикупить что ли
💯️2
Eugene Cap 🦈△🇺🇦♖
Выражаясь очень мягко и со всем уважением к автору канала: это утверждение довольно спорно. Я гораздо чаще слышу его от не очень талантливых маркетологов, чем от реальных экспертов.
Alex Yumashev
Свой сервер в 2026 - и в 2022 - большая разница
Eugene Cap 🦈△🇺🇦♖
Отчасти соглашусь, но именно поэтому надо было покупать в 2022! (/ирон)
A
Как надо - намного дороже. Как это будете делать условно Вы - дешевле, но это иррационально
👍️
Автор канала - весельчак, часто рассказывает смешные истории. Особенно понравилось, что эти организации должны были подготовиться к падению exchange online
💯️
Makar Diakonov 🐸
Смешно читать про ”безопасное” электричество из Берлина, где буквально меньше года назад был блэкаут и никакой дизель не спас
❤️💯️3🥰️
uncleroot🪬
graceful degradation это весьма сложная для проектирования штука, оно частично пересекается с disaster recovery, но не полностью
DR заметно проще поднять, особенно полуавтономный
👍️2
Eugene Cap 🦈△🇺🇦♖
"Как надо" - и облака нихрена не делают
A
Облако облаку рознь. В этом конкретно случае зачем тень на плетень наводить?
100%. Особенно интересно, что предлагает автор для graceful degration именно в этом случае
Eugene Cap 🦈△🇺🇦♖
Затем, что нечего тут рассусоливать, собственный сервак плюс сисадмин на десятую часть ставки окупаются за два года аренды этого конкретно облака
👍️2🥴️
Alexey
Сорри, конечно. Расскажите про защиту на защите Испании тит Португалии, где блекаут почти сутки был. Результатов расследования так и нет.
🔥️2
A
Вы идиот
🔥️
Delisted Account
Собственный почтовый сервер - это почти из разряда фантастики. Только если он реально железный.
Я не нашел, в свое время, хостеров, которые бы давали 25 порт. Пришлось городить сложную структуру из нескольких именно email провайдеров. А уж про хостинг эксченджа это вообще из области сказок. Ровно по причине веселья все и свалили в онлайн как только стало возможно.
💯️
sergeich
Полгода как финальный отчёт опубликован
David Semashkov
идиотсисадминVladimir Shebastyuk
А разве не из-за отказа двух резервных дизель генераторов после отключения питания, упал лондон у амазона?
Vik
https://isolveproblems.substack.com/p/how-microsoft-vaporized-a-trillion
Здесь можно получить представление «что у них там происходит»
В марте было написано
Gennady Lebedev
а предположим нашли
фильтры на спам, обе категории ошибок из-за фильтров на спам, агрессивные формы жизни поверх устаревших еще 20 лет назад протоколов, ну и маркетологи у которых 2/3 рассылки не ушло тоже придут с ножами - там слои и слои радости
ну и конечно не стоит упоминать что на эксчейндж завязана добрый ломоть AD
не страдают со своим почтовым серваком только те, кто мог бы вообще без него жить кмк
частичный пруф: мессенджеры приходят и уходят, а почты кроме как по списку поисковиков+ms+apple+proton сходу мало кто назовет
Иван
Теперь все можно спихивать на ии
Ilya Ryabukhin
Так вроде года 3 назад абсолютно такая же проблема с их Exchange была. Дошло до того, что в поддержке Майкрософт мялся, толком ничего не отвечал, и вот когда их уже на Линкедине начали тягать - вот тогда зашевелились. Хорошо, что у прошлого моего работодателя был еще внутренний свой почтовый сервак, на котором в основном хостили в основном учетки сотрудников для внутренней переписки, кто наружу почти не писал. И вот тогда как резервный сценарий - начали всех, кому кровь из носу почта нужна, по заявке переводить на внутренний сервер
Тогда дня 3 exchange online лежал
Ivan
https://infosec.exchange/@k3ym0/117607080678996785
👌️
Egor Merkushev
А почему им так сложно было откатить плохой конфиг?
Winston Smith
Всё бы хорошо, но у FAA возникли схожие проблемы в это же время. Очень случайное совпадение 🤔
🔥️
Samat Galimov
1) outage может мешать
2) оно может быть сильно не атомарным и roolback может сломаться
вообще, хрен ты такие вещи нормально протестируешь, даже на полном стенде, тебе ведь для полной репликации нужны живые пользователи и контакты с внешними контрагентами
и не всегда можно по-частям переезжать
в общем, потому и воспроизводится, что тестировать сложно, на бою всё исправляют и это не всегда получается, и чем больше и сложнее система — тем больше риск
🔥️
Gennady Lebedev
и еще эффекты второго порядка
предположим есть тестсьют который бы это поймал (опуская детали что его подготовка и поддержка стоили бы пол-бюджета большого M$) - этот же сьют с большой вероятностью стопал бы 9/10 релизов которые прошли достаточно нормально
теория эксперимента подразумевает что у самого эксперимента есть стоимость и ложно-позитивные срабатывания, если б их не было - все бы проверяли все до запятой
👍️2🔥️
Artem
Толи ещё будет через несколько лет вайбкодинга и оптимизации программистов. Потом ещё пусть попробуют поднять.
💯️3🔥️
Swin Kone
Да бросьте.
Сдаетмя мне, что свой почтовый сервер можно заваншотить уже сейчас, если заранее дать все доступы Иишечке
🔥️🤣️
Gennady Lebedev
так не интересно, интересно чтобы он проработал хотя бы полгода и пережил пару апдейтов 🙃
(с очевидными нюансами «диски не лопнули от спама, хакеры не угнали учетки от директора до дворника, и все ключи с сертами заодно». Скучные штуки)
🔥️
Artem
Ну заваншотите и не платите корпорациям. Сэкономите себе и своей компании деньги, а лучше saas сделайте супер удобный простой и дешёвый для всех. Это же так просто сейчас.
🔥️
Alex
При Хуанге такого не было
🔥️
Vitály Magyari
Единый тенант на всё - вообще болезнь нашего времени. Потому что пока растёшь не смысла делить, а когда уже вырос - боль, связанность инфры. А потом кто-то одному девопсу ноутбук компрометирует и всё заверте...
👍️🔥️
К чести Майкрософт (дожили, кого я защищаю...) остальные сервисы работали почти нормально. Ну, которыми я пользовался. Была непротухшая сессия, делал свои дела, новую было не авторизовать и аутлок соответственно не грузился. Но кто успел залогиниться до шатдауна и не читает почту - могли и не заметить. Даже гитхаб не лежал, что само по себе удивительно
🔥️