Когда пытаешься понять, почему после запуска подкастов Амазон хочет в 4 раза больше денег, чем обычно (пробитый кеш всему виной, никогда не суйтесь в s3 без двухуровневого кеша)
#aws
страница 2 из 2Осторожнее с ES в AWS (вкратце: ничего хорошего) https://read.acloud.guru/things-you-should-know-before-using-awss-elasticsearch-service-7cd70c9afb4f
У нас в Медузе с эластиком love-hate отношения. Пока работает — просто супер, хочешь что-то поменять — пиши пропало.
Симптоматичный пост про то, как Segment.com уменьшили счет на БД в AWS на 1 млн $ в год. https://segment.com/blog/the-million-dollar-eng-problem/
Облака делают подход "throw more hardware on it" самым простым — они на этом зарабатывают. В какой-то момент ты понимаешь, что счет уж какой-то совершенно неприличный и начинаешь разбираться, что же там происходит в твоих данных да внутри этих магических технологий автоскейлинга.
Красивый heatmap нагрузки на DynamoDB, предоставленный сотрудниками AWS https://segment.com/blog/the-million-dollar-eng-problem/images/heatmap.png
Обратите внимание на красную полоску в зуме, это тормозной партишн, из-за которого они начинали добавлять ресурсы и жечь деньги https://segment.com/blog/the-million-dollar-eng-problem/images/heatmap-zoom.png
Это я к тому, что в 2017 можно отказаться от толковых инженеров, если у тебя есть неограниченный бюджет. В этом случае выбор между «платить амазону» и «платить инженерам» чисто этический. В первом случае мы платим за электроэнергию и rare earth elements, в другом — за интеллектуальный труд. Второе экологичнее.
Господи, это божественный твит https://twitter.com/awscloud/status/836656664635846656 (спасибо, Женя!)
Мы в медузе используем s3 для хранения картинок, но при этом очень агрессивно кешируем все на своём самодельном CDN, так что пока эффекта нет (upd: с европейским амазоном пока всё ок).
Конечно, есть сервисы, где простой недопустим - но их обычно программируют люди, разбирающиеся в термине "единая точка отказа". Всем остальным можно расслабиться и запастись попкорном, такое не часто случается.
У Амазона серьёзные проблемы с облаком, s3 (один из крупнейших сервисов хранения файлов в мире, им пользуются многие стартапы, которыми пользуетесь вы) возвращает 500 во многих регионах, недавно упал EBS в двух регионах. Это происходит уже больше часа - а значит они потеряли право говорить "доступность 99.999%" - это 53 минуты отказа в год.
Весь интернет посыпался как домино: heroku, Trello, slack, Quora, Netflix, you name it.
Интересно, что в status dashboard у Амазона все зелененькое. Ещё интереснее, что сайт Amazon.com работает отлично - там чуваки умеют программировать без единой точки отказа.
За новостями следите в треде на HN, раз Амазон не готов признавать ошибок: https://news.ycombinator.com/item?id=13755673
Мы с друзьями-коллегами долго ломали голову, зачем все крупные игроки / модные стартапы держат данные в облаке, когда ежу понятно, что железо+админ почти всегда дешевле, чем все эти квадриллионы value added services, разработку и поддержку которых осуществляют очень хорошо оплачиваемые инженеры. Ну и админ вам понадобится в любом случае :troll:.
И недавно дошло - дело ведь в искусственном интеллекте, машинном обучении. Вот тут с Google, Microsoft и особенно Amazon тягаться бессмысленно. Лучшие команды ученых, неограниченные вычислительные мощности. И готовые API, которые доступны за вполне разумную цену. Если вы держите данные у провайдера в облаке. Если нет - тут уже совсем другой разговор, и не факт, что вообще получится.
Вот все и катят свои snowmobileы в гигантские дата-центры бегемотов. Аминь.
Вот Amazon начал и обычным смертным объяснять, как использовать их АПИ, умея только Hello world. https://aws.amazon.com/blogs/ai/welcome-to-the-new-aws-ai-blog/
Amazon представил флешку в форм-факторе грузовика.
Вместимость одной машины - 100 петабайт (1 петабайт = тысяча терабайт, нормальный ноутубк хранит от половины до 2 терабайт). Сервис придуман для переноса безумных объёмов данных из собственного дата-центра в амазоновское облако и доступен только в некоторых штатах в Америке.
На одной из моих прошлых работ коллеги летали с жесткими дисками с музыкой из США в Москву - это быстрее и дешевле, чем арендовать трансатлантический кабель.
Идея старая, про неё есть даже бородатый админский анекдот (буквально описание представленного решения), но вживую всё равно впечатляет.