Спасибо большое всем, кто пришел на лекцию вживую и подключился онлайн! Спасибо за вопросы! Удивительно теплая атмосфера.
Спасибо редактору Маше Агличевой и всей команде Curiosophy за организацию!
❤️
Я уже забыл, какой это драйв — встречаться так вживую. Хочется теперь еще :)
Запись доступна по подписке на сайте curiosophy.
Подъехал пост-мортем от Амазона.
С одной стороны, хочется поржать над DNS Enactor, DropletWorkflow Manager (DWFM), Network Manager и прочими — это Galactic от Krazam, только в реальном мире и на очень серьезных щщах.
Если без шуток, то цепочка такая:
1. сначала сломался доступ к dynamodb из-за рейс-кондишена системы управления DNS — два таска начали писать в DNS одновременно, первый старую версию записей, второй — более новую новую, в результате часть записей в DNS оказалась новая, часть старая, второй процесс запустил cleanup, который удалил все старые записи и из такого разломанного состояния система сама восстановиться не могла. Сломалось в полночью, за 50 минут поняли в чем дело и ещё за 40 минут починили руками.
2. из-за сломанного dynamodb, система управления железом не могла обновить статус физических серверов и начала отмечать их как «недоступные», поэтому не могла запустить новые виртуальные машины; после восстановления dynamodb, по-идее всё должно было встать само, но из-за большого объема железа, стоящего в очереди, обновление статуса занимало дольше, чем таймаут — и очередь не разгребалась, а только росла. Коллапс. Стандартной процедуры восстановления для такого случая прописано не было, через 2 часа попыток что-то разрулить, инженеры ограничили число входящих запросов и начали перезапускать тачки с системой управления; это помогло, теперь можно было создать новые виртуальные машины;
3. но ещё какое-то время эти новые виртуалки не делали никакой полезной работы, потому что из-за взрывной нагрузки не справлялась система управления разлива конфигурации сети и сеть на новые тачки приходила с задержкой;
4. из-за этой задержки появления сети на машинах, моргали статусы серверов в лоад-балансерах, отмечая живые инстансы как мертвые и триггерились дополнительные переключения нагрузки (привет, DNS!) и перегрузилась система проверки здоровья серверов,
пришлось её на время выключить.
Ну а когда у вас не доступны базы данных и виртуальные машины, то все остальное уже валится по цепочке (и список десятков облачных сервисов, которые пострадали).
Раздел «что мы поменяем» удивительно короткий и очень технический: починят рейс кодишен в DNS, ограничат объем серверов, который может выключить лоад-балансер и т. д. Ну и заканчивают «извините, в будущем будем более лучше стараться».
Интересно, что они не делают никаких философских выводов из ситуации. Видимо, считают, что идейно всё верно. Я сам такими огромными системами (и командами) не управлял и поэтому осторожно предположу, что, наверное, технически, можно сделать систему проще, но учитывая, что над ней работают десятки независимых команд — это, наверное, минимальный доступный объем сложности и допустимый объем ошибок. Было бы интересно услышать мнение «настоящих сварщиков».
—
Коллеги советуют замечательную статью на тему безопасности сложных систем. Она не дает ответов, но предостерегает от попытки найти «root cause», «причину аварии» и предлагает посмотреть на безопасность систем по-новому, через другие линзы, чем я привык. Очень рекомендую.
В официальном криптокошельке телеграма @Wallet зарегистрировано 100 миллионов кошельков.
В новом эпизоде подкаста поговорили с Алексеем Шерченковым — руководителем core-команды @Wallet.
Как начать пользоваться криптой? Можно ли отправить деньги прямо в сообщении в телеграме?
И про команду и сложности, когда делаешь проект на десятки миллионов пользователей. И про использование ИИ в разработке.
Надеюсь, каждый найдет то, что ему интересно. Формат ностальгический, будто из первого сезона.
Слушайте на всех платформах: Apple, Youtube, Яндекс, Spotify, Castbox, Overcast, веб-версия.
OpenAI выкатил браузер, назвали Atlas. Новая вкладка — всегда chatGPT и на любой странице можно вызвать чат в правой части экрана. Идея в том, что ИИ может выполнять часть действий за нас в интернете.
Это не новая идея: несколько месяцев назад появился Comet от Perplexity, Claude для хрома от Anthropic и Google постепенно выкатывает AI-фичи в хром.
Тем не менее, OpenAI — компания на слуху, так что теперь с браузерами со встроенным ИИ, наверное, познакомятся больше людей.
Несколько мыслей, которые приходят в голову:
1. Про безопасность, конечно. Anthropic наглядно показал, как с помощью базового prompt injection можно заставить браузер сделать что угодно. Проще говоря, ИИ плохо различает, где вы ему дали команду, а где эта команда написана на сайте. Примерно как когда «умные» колонки от амазона сделали заказ услышав фразу «алекса, закажи кошачий корм» в рекламе по телевизору.
2. Вся эта движуха с новыми продуктами не очень вяжется с обещаниями AGI (сверхчеловеческого интеллекта) в ближайшее время. Если бы ИИ-компании сами верили в свои обещания — то не было бы смысла расфокусироваться с новыми продуктами. Делаешь сверхинтеллект и всё, ты в дамках.
3. Из хорошего: скорее всего, это попытка «выкопать ров» («moat building»), то есть сделать что-то, что конкуренты (быстро) повторить не смогут. Это хорошо, потому что это признак того, что сами модели скорее всего таким «рвом» не являются. Компании понимают, что любые модели быстро повторят конкуренты (или они даже появятся в опен-сорсе) и пытаются создать другие, неконкурентные преимущества.
4. OpenAI дает 7 дней увеличенных лимитов для тех, кто поставит Atlas браузером по умолчанию. Я достаточно старый, чтобы помнить дни, когда Google платил программистам за то, что они включали браузер хром в инсталляторы своих программ. Да, хром не всегда был самым популярным браузером на планете и вообще, в истории компьютерной индустрии было две войны браузеров. Первая: 1995-2001 годов, когда Microsoft убил платный Netscape Navigator, включив достаточно хороший Internet Explorer внутрь Windows. Вторая: 2007-2017 годов, когда Google уничтожил Internet Explorer и почти всех остальных с помощью быстрого технологического развития и очень агрессивного маркетинга Google Chrome. Интересно, начало ли это новой браузерной войны?
5. Вообще, логическим развитием истории про ИИ, который делает что-то за нас в интернете, будет трансформация веб-сайтов под ИИ. Какой смысл делать дизайн сайта для людей, если никто кроме ИИ его не увидит? Видимо, можно ждать развития идей семантического веба. И окончательную смерть классической баннерной рекламной модели. Вот это по-настоящему интересно.
Раз уж про амазон: свежий пост инженера, который только что уволился из оттуда. Прямо канонический крик души о работе в корпорации, да ещё и на русском.
Большая часть облачных сервисов AWS лежала почти 3 часа. Если у вас глючили Слек, Зум, Сигнал и прочие — это всё от этого. Уже поднимаются. Официальный статус тут.
Как обычно, система поддержки AWS тоже легла. Говорят, что из-за проблем с DNS отвалилась база данных DynamoDB на восточном побережье США, ну а дальше эффект домино. Ждем официального post mortem.
Время шутки, что один сервак в hetzner может дать больший аптайм, чем вся современная облачная инфраструктура.
Чувак снял видео полета луча лазера. Прямо буквально видно, как луч движется по комнате.
Для этого он собрал камеру, снимающую HD видео с частотой 2 миллиарда кадров в секунду.
Все это дома, из деталей, заказанных на Амазоне и скрипта на питоне.
Не буду спойлерить механизм действия камеры, это чистое удовольствие, причем понятное без специального образования.
—
Это, кстати, классный ютубер, он работает инженером-ученым, с установками глубокого вакуума и электронными микроскопами.
Ещё из прошлых крутых видео, есть вот это, в котором он экспериментально демонстрирует, как напряжение течет по проводам и как электричество «узнает», какой провод подключен к земле.
А вот еще ролик, где он собрал весы, которые взвешивают пролетающий над ними самолет. Очень рекомендую.
Я технический директор и учусь на психотерапевта.
Эти два мира были относительно отдельно, но последние месяцы появились десятки IT-стартапов, которые обещают «ИИ-психотерапевта».
Вместе с Катей Кронгауз (а она — психоаналитический терапевт) разбираемся, насколько это рабочая история, какой может быть психологическая помощь машины человеку и как вообще быть в этом новом дивном мире.
Слушайте и подписывайтесь: Apple, Youtube, Яндекс, Spotify, Castbox, Overcast, веб-версия.
Сделали классный внутренний инструмент для эйчаров высокочастотного трейдера Wunder Fund. Силами одного (!) программиста за 7 недель!
По дизайну напоминает Тиндер — есть лайки и даже супер лайки. А еще хитрый кастомный поиск прямо в вебе.
Подробности — в новом кейсе на сайте.
Хотите классную разработку в срок? Пишите @samatg
Привет, друзья!
24 октября я прочитаю лекцию про искусственный интеллект.
Мы проследим всю историю явления — он средневековых автоматонов до огромных инвестиций последних лет. Попытаемся ухватить разницу между человеческим мышлением и искусственным интеллектом.
Мне особенно радостно, что получился не просто набор занимательных фактов — это единая история, в которой десятки ключевых личности и их изобретения переплетаются и вписаны в контекст жизни. События неслучайны, но следуют понятной логике.
Мы с редактором Машей Агличевой работали над этой лекцией многие часы. В какой-то момент мы перестали придумывать историю, скорее она пришла к нам и мы ее записали. Как и положено, развязка получилась неожиданной для нас самих.
Лекция пройдет 24 октября в Лимассоле, можно подключится онлайн. Билеты на сайте организатора лекции Curiosophy. До встречи!
