Популярное

Официальное заявление Anthropic по поводу военных:

1. Мы против того, чтобы следить за американцами, за остальным миром двумя руками за (и уже следим)

2. Мы против того, чтобы сейчас делать полностью автономных дронов убийц, потому что модели пока ещё не достаточно хорошие. Предлагали Пентагону поработать над этим, но они отказались :(

Хорошее заявление, всё проясняет.

Неожиданное развитие событий с fable 5: правительство США наложило экспортные ограничения (то, что обычно делают на оружие) — потребовали от Антропика отключить доступ к этой модели для всех иностранцев, включая сотрудников компании - не американцев.

Сделать быстро это Антропик не может, так что выключают доступ для всех.

Правительство утверждает, что обнаружило «джейлбрейк», который позволяет разблокировать возможности модели для кибер-атак. Антропик говорит, что речь о стандартном приеме «исправь ошибку в этом коде», который ровно так же работает и в ChatGPT 5.5. Обещают больше подробностей в течение 24 часов.

Хочется пошутить, что это такая PR-стратегия антропика перед IPO для поддержания хайпа, и что у них в очередной раз не хватает видеокарт, или что это наоборот, козни Сэма Альтмана против конкурента (тоже перед IPO), и что хайп про сверх-возможности в области в кибербезопасности имеет и обратные последствия, но вообще все это исключительно странно, даже для этой администрации. Похоже, кто-то в правительстве всерьез озабочен mythos/fable, ну или просто очередная дурь. 50:50.

🍿

Расспросил Дениса Ширяева, как он пользуется ИИ для своей жизни и работы.

Денис занимается ИИ-инструментами в JetBrains, и, по мнению OpenAI, один из самых активных пользователей СhatGPT в мире.

А ещё, Денис — автор одного из лучших телеграм-каналов про ИИ — Denis Sexy IT.

В общем, слушайте новый эпизод подкаста: ютуб, Apple, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Чувак снял видео полета луча лазера. Прямо буквально видно, как луч движется по комнате.

Для этого он собрал камеру, снимающую HD видео с частотой 2 миллиарда кадров в секунду.

Все это дома, из деталей, заказанных на Амазоне и скрипта на питоне.

Не буду спойлерить механизм действия камеры, это чистое удовольствие, причем понятное без специального образования.

—

Это, кстати, классный ютубер, он работает инженером-ученым, с установками глубокого вакуума и электронными микроскопами.

Ещё из прошлых крутых видео, есть вот это, в котором он экспериментально демонстрирует, как напряжение течет по проводам и как электричество «узнает», какой провод подключен к земле.

А вот еще ролик, где он собрал весы, которые взвешивают пролетающий над ними самолет. Очень рекомендую.

OpenAI выкатил браузер, назвали Atlas. Новая вкладка — всегда chatGPT и на любой странице можно вызвать чат в правой части экрана. Идея в том, что ИИ может выполнять часть действий за нас в интернете.

Это не новая идея: несколько месяцев назад появился Comet от Perplexity, Claude для хрома от Anthropic и Google постепенно выкатывает AI-фичи в хром.

Тем не менее, OpenAI — компания на слуху, так что теперь с браузерами со встроенным ИИ, наверное, познакомятся больше людей.

Несколько мыслей, которые приходят в голову:

1. Про безопасность, конечно. Anthropic наглядно показал, как с помощью базового prompt injection можно заставить браузер сделать что угодно. Проще говоря, ИИ плохо различает, где вы ему дали команду, а где эта команда написана на сайте. Примерно как когда «умные» колонки от амазона сделали заказ услышав фразу «алекса, закажи кошачий корм» в рекламе по телевизору.

2. Вся эта движуха с новыми продуктами не очень вяжется с обещаниями AGI (сверхчеловеческого интеллекта) в ближайшее время. Если бы ИИ-компании сами верили в свои обещания — то не было бы смысла расфокусироваться с новыми продуктами. Делаешь сверхинтеллект и всё, ты в дамках.

3. Из хорошего: скорее всего, это попытка «выкопать ров» («moat building»), то есть сделать что-то, что конкуренты (быстро) повторить не смогут. Это хорошо, потому что это признак того, что сами модели скорее всего таким «рвом» не являются. Компании понимают, что любые модели быстро повторят конкуренты (или они даже появятся в опен-сорсе) и пытаются создать другие, неконкурентные преимущества.

4. OpenAI дает 7 дней увеличенных лимитов для тех, кто поставит Atlas браузером по умолчанию. Я достаточно старый, чтобы помнить дни, когда Google платил программистам за то, что они включали браузер хром в инсталляторы своих программ. Да, хром не всегда был самым популярным браузером на планете и вообще, в истории компьютерной индустрии было две войны браузеров. Первая: 1995-2001 годов, когда Microsoft убил платный Netscape Navigator, включив достаточно хороший Internet Explorer внутрь Windows. Вторая: 2007-2017 годов, когда Google уничтожил Internet Explorer и почти всех остальных с помощью быстрого технологического развития и очень агрессивного маркетинга Google Chrome. Интересно, начало ли это новой браузерной войны?

5. Вообще, логическим развитием истории про ИИ, который делает что-то за нас в интернете, будет трансформация веб-сайтов под ИИ. Какой смысл делать дизайн сайта для людей, если никто кроме ИИ его не увидит? Видимо, можно ждать развития идей семантического веба. И окончательную смерть классической баннерной рекламной модели. Вот это по-настоящему интересно.

Гендир Shopify (а это, на минутку, главная платформа для интернет-магазинов в мире, 7500 сотрудников, капитализация 160 миллиардов долларов), взял autoresearch Карпатого и своими руками запустил его на liquid — систему шаблонизации магазинов на Shopify.

Система провела 120 автоматизированных экспериментов в попытке ускорить загрузку страниц. В результате получился PR (пул-реквест, омоним пиара) на 93 коммита.

Нейросеть ускорила загрузку страниц в два раза. Тоби признает, что там есть overfitting, когда страница оптимизирована под конкретный тест, но есть и куча хороших идей, о которых они раньше не думали. И это не вайбкодинг, а полностью автоматизированная разработка софта под конкретную метрику, причем на кодовой базе, которую 20 лет писали руками очень хорошие программисты. Всё в open source, можете посмотреть сами.

В общем, если у тебя есть конкретное число и механический способ что-то поменять в системе и измерить изменение этого числа — то нейросеть может его оптимизировать. Ребята заопенсорсили всю свою обвязку, pi-autoresearch. Описываешь ей свою задачу, метрику, как запустить код и дальше всё работает самостоятельно.

Интересно, что в очередной раз речь идет о проекте, щедро покрытом тестами (у liquid 974 юнит теста). Вот мы с Федей всю жизнь кричим о важности тестов, и внезапно это оказалось даже полезнее для нейросетей, чем для людей.

Тоби, конечно, не стандартный CEO крупной компании и раньше что-то прогал, но в ноябре, с появлением крутых нейросетей, количество его коммитов выросло в разы.

Мы тоже активно экспериментируем с этими подходами, если есть похожие задачки — обращайтесь!

Прикольно, как меняются технические аудиты.

Сейчас мы делаем технический аудит и план технического развития бизнесу, которому почти 30 лет. Десятки репозиториев на разных языках, большАя часть логики в сотнях хранимых процедур и триггеров в монолитной MSSQL базе.

За 4 недели архитектор смог разобраться на уровне, который раньше занял бы полгода минимум.

При этом, если раньше мы готовили PDF файлы и схемы, которые читали люди, то теперь мы собираем папку с анализом исходников, папку с анализом базы (один файл на хранимку или таблицу), и так далее. Все зависимости, вся логика проекта — в текстовых описаниях. Ну и файл с описанием, что мы делаем и для чего, конечно. Все это в гите, с контролем версий.

А дальше подключаем этот репозиторий к Claude code и задаем вопросы по проекту: «как устроена логика ценообразования», «на что повлияет изменение параметра Х», реестр рисков и так далее. Ответы проверяют живые инженеры — так мы оцениваем качество нашей базы знаний.

—

Если раньше мы оставляли пусть хорошо и с любовью написанные, но документы и делились пониманием в разговорах, то теперь мы как будто оставляем своего цифрового двойника, который будет продолжать отвечать на вопросы заказчика даже после окончания аудита.

Эту базу знаний будут использовать не только для этого рефакторинга, но и для онбординга новых специалистов.

—

Через 4 недели работы, мой архитектор взял 2 недельный отпуск. Мы дадим свои рекомендации и закончим аудит уже после его возвращения.

Скорость работы увеличилась в разы, но нам, людям, все ещё нужно время, чтобы новые знания уложились в голове. Нужно время, чтобы понимание проросло в нас. Слово «проросло» точно отражает то, что этот процесс нельзя ускорить усиленной работой. Можно только создать условия и не мешать. Раньше это происходило естественно, теперь нужно специально делать перерывы.

—

Раньше я гордился тем, какие четкие, ясные, красивые диаграммы сервисов мы рисуем. Теперь их заменили полностью автоматизированные mermaid схемы. Генеральную схему всего бизнеса таким образом мы пока не нарисовали, она получатся совершенно неудобоваримая. Это ограничение технологий или отражение внутренней сложности бизнеса? Пока что ее нет и у нас в голове, так что это открытый вопрос.

—

Делюсь тремя файлами: Claude_md — общие правила игры для модели, а ещё файлы с целями и принципами этого аудита.

Подъехали подробности про блокировку fable 5.

Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.

Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.

Всё, это весь «взлом».

Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.

🍿🍿

14 октября Европейский Союз решит, сломать конфиденциальность переписки сейчас или отложить этот вопрос еще на год.

Новый закон направлен на защиту детей, конечно же. Алгоритмы должны запускаться на телефонах и проверять сообщения до их отправки (и шифрования).

Если сообщение содержит детское порно или склонение ребенка к чему плохому — то оно отправляется правоохранителям на проверку. А еще все должны предъявлять документы для регистрации в мессенджерах.

Инициативу прозвали Chat control, закон впервые выдвинули аж в 2022 году. Тогда его поддержали только 5 стран. Для принятия нужно согласие 15 из 27 стран Евросоюза с 65% населения ЕС. Сегодня 12 стран за, 7 против и благодаря позиции Германии (18% населения ЕС), в этот раз опять пронесло. Скорее всего, его чуть поредактируют и снова выдвинут в 2026.

Если в России ФСБ требует у всех мессенджеров ключи шифрования, то тут все тоньше — «это затрагивает только подозрительные сообщения». То, что список «запрещенки» потом расширится, и что технические ошибки неминуемо приведут утечкам законной переписки — это «страхи отдельных алармистов», «подумайте о детях!»

Есть шутка, что в России строгость закона компенсируется необязательностью его исполнения. Signal, WhatsApp и секретные чаты телеграма доступны всем желающим при минимальном приложении усилий, несмотря на то, что они нарушают требования российского закона.

Интересно посмотреть, что произойдет с мессенджерами, если (когда) Евросоюз де-факто объявит сквозное шифрование незаконным. Как поступят компании? Как поступят люди? Ах да, лично себя политики внесли в список исключений, конечно же. 🤡

Инструмент для граждан ЕС, чтобы обратиться к своему депутату — здесь.

Cloudflare опять упал, Zoom поэтому не работает (и половина интернета вместе с ним), не удивляйтесь.

Upd: поднялись в течении 20 минут.