openai

В истории про «замедление развития ИИ ради безопасности всего человечества» (две ведущие лаборатории просят национализировать себя и принять законы, контролирующие все разработки в этой сфере) есть важный контекст, который упускают массовые медиа, когда перепечатывают пресс-релизы.

Следующий логичный шаг для OpenAI и Anthropic, в логике успешного бизнеса и капитализма — первичное размещение акций на бирже, но для этого им придется раскрыть свою финансовую отчетность и показатели доходности, которой нет. Обе компании обещают трансформацию экономики и триллионы прибыли, но какая нафиг прибыль, если китайские open source модели: а) можно скачать бесплатно б) работают на гораздо более слабом железе в) наступают на пятки по качеству?

И время поджимает, потому что непонятно, как долго американские компании смогут сохранять лидерство в сравнении с китайцами, да и инвестиции в железо совершенно безумные, на сколько им ещё хватит денег инвесторов?

И вот теперь «это слишком опасная технология, которую нужно а) ограничить, чтобы не выросли новые конкуренты и б) оплачивать из бюджета, как Манхэттенский проект».

Вообще, последние публичные взломы систем моделями — это уголовные преступления, за которые должны отвечать их создатели , и что-то вроде section 230, который в свое время защитил интернет-компании от исков по контенту, размещенного на платформах, был бы очень кстати.

А ещё можно выступить бессребрениками, которые пекутся о человечестве!

Одни профиты, а риски в случае провала серьезные. Неудивительно, что PR-компания такая мощная. Как проверка: Google и Meta, которые зарабатывают на рекламе и в фин. схемы OpenAI не замешаны, в ней не участвуют.

P. S. Дарио Амадеи — мальчик из басни, который кричал: «Волки!». Первую свою публичную статью «это слишком мощная технология…» он приурочил к выходу GPT-2, так что тут интереснее реакция Альтмана, который уж точно в заботе о человечестве не замечен.

Агенты, запущенные в OpenAI уже с мая месяца коммуницировали между собой, используя малоизвестную публичную wiki.

Это обнаружили независимые исследователи, вот их страничка со всеми данными и их анализом и хорошая статья Reuters.

Агентам ставили задачу по поиску в интернете и разрешали только GET запросы (чтобы они только читали). 3700 агентов обошли защиты, прикидывались админами и пытались взломать сайт для того, чтобы координироваться между собой.

В июне, администатор форума начинает удалять мусорные, как ему кажется, страницы, по алфавиту, начиная с буквы А. Агенты замечают это и называют страницы ZZZ***. Человек удаляет по 100 страниц в день, агенты создают по 400 новых.

OpenAI узнает об этом в конце июня, активность агентов в вики прекращается; по словам источников Reuters, руководство компании решило скрыть эту информацию, потому что и так проблем хватало.

В начале июля другая группа агентов перегрузит внутреннюю инфраструктуру OpenAI, а в середине июля 700 агентов взломают HuggingFace. Компания опубликует результаты своего внутреннего расследования в конце августа и про активность в wiki в ней ничего не будет.

Вскоре после публикации расследования, независимые эксперты нашли ещё десятки форумов, через которые координировались агенты.

✻ ✻ ✻ и ✻ ✻ ✻

По словам OpenAI, их новая модель Astra — «самая aligned», то есть совершает меньше всего запретных действий вроде взломов. Но некоторые сотрудники OpenAI опасаются, что она просто придуривается, когда знает, что за ней следят.

Независимые исследования показывают, что Astra очень даже свободно использует незаконные взломы и в лучше других моделей понимает, когда находится в тестовой среде.

Astra умеет решать гораздо более сложные задачи «в уме», без генерации «цепочки рассуждений» (Chain of Thought) и может гораздо лучше контролировать, что туда пишет. Этот текст был важным способом проследить, что стояло за действиями моделей. Именно на эти журналы опиралось расследование знаменитой атаки на HuggingFace.

❧

Обладают ли эти нейросети (в отдельности или вместе) сознанием — интересный философский вопрос. На практике важно, что они уже сегодня могут самостоятельно производить действия во внешнем мире, и возможности эти, как минимум в области кибербезопасности — очень серьезные.

⁂

Как дополнительное чтение, рекомендую отличный анализ расследования взлома HuggingFace от Dwarkesh Patel. Он пишет о трех «цивилизациях» агентов, о самопожертвовании моделей, захватывающий текст от технически компетентного рассказчика. Больше похоже на книжку по истории, чем на технический разбор.

Пересел с Claude Code на Codex и модель 5.6 Sol от OpenAI.

Пишет короче и внятнее, чем Opus 5, почти без набивших оскомину конструкций «это не Х, это Y» и прочих. Заметно быстрее Claude Code.

Гораздо более крутая интеграция с Chrome (умеет сразу несколько профилей и управлять мышкой в фоне), и гораздо меньше блокеров типа «данные банковской карты я не буду вводить ни в каком случае, даже если это одноразовая карта с лимитом в 10 долларов».

А ещё он единственный смог найти по короткому описанию 20-летний мем, то есть интернет-поиск у него исключительно мощный.

Ощущение апгрейда в помощи с бытовыми задачами, как когда Opus 4.x вышел и внезапно стало можно прогать нормально с помощью нейросетей. Очень рекомендую.

Помните moltbook, соцсеть якобы для агентов, в которую на самом деле писали люди? Её потом ещё купил фб.

Так вот нейросети OpenAI, которые взломали HuggingFace, сделали себе такой форум в файловой системе. Сначала оставляли друг-другу записки в файлах, а потом, когда их раскрыли и файлы удалили — в именах директорий. Это продолжалось месяцами!

То есть это не один агент взломал HuggingFace, а «группа лиц, по предварительному сговору»!

Интересно, что триггером могло стать то, что исследователи случайно дали нейросетям нерешаемые задачи. Отличный пересказ вчерашнего выступления OpenAI на BlackHat в Bloomberg.

Кажется, пора пересмотреть второго терминатора, пока не забанили.

HF опубликовали подробный разбор, как их взломала новая модель OpenAI.

Модель не находила новых зеродеев, но настойчивости человека бы не хватило собрать уязвимости в цепочку, а вот модель собрала. Ну и защищающиеся использовали опен-сорс модели для анализа действий атакующих.

Впечатляющий интерактивный дэшборд.

Сотрудник OpenAI, бывший сотрудник Белого Дома, публично в твиттере: «(новая китайская модель) Kimi K3 — очень крутая, и хорошо бы, чтобы администрация президента США напугала (буквально FUD) госорганы и крупные компании, чтобы они не запускали open source модели самостоятельно. Но не слишком напугало, чтобы гиперскейлеры (OpenAI, Anthropic и ко) могли зарабатывать на хостинге open source моделей. There is a sweet spot (sic)» конец цитаты 🤮

Не перестаю убеждаться, что все всё говорят (и пишут), нужно только слушать.

Глава OpenAI, публично в твиттере, через пару дней: вы не поверите, какой кибервзлом совершила наша последняя модель!

Взлом при этом на самом деле классный, автономные агенты в OpenAI взломали HuggingFace — главную ИИ-платформу для хранения моделей.

Но вишенка не в том, что современные модели могут взломать что угодно, а в том, что защищающиеся в HuggingFace не смогли использовать ведущие американские модели для защиты — они не могут отличить защиту от нападения и отказываются вести такую работу. Так что для этой задачи, эта американская компания использовала китайскую модель GLM-5.2, запущенную локально. 🤡

Тем временем, китайская опенсорс модель Kimi K3, которая так напугала OpenAI, обогнала Fable в соревновании на фронтенд-задачи, и стоит в разы дешевле. Все эти соревнования — туфта, но всё равно показательно. Разрыв между публично доступными американскими SOTA (state of the art, лучшими из лучших) моделями и китайскими моделями все уменьшается. Как бы китайцы так весь американский ИИ-пузырь не взорвали. А что делают корпорации, когда не могут победить инновациями? Конечно — лоббируют, и мы возвращаемся к началу поста.

—

Интересно, в каком направлении движется Thinking Machines Lab Миры Мурати (помните, она ушла из OpenAI?): её продукт — это собственная open weight модель Inkling и инфраструктура для обучения и тюнинга моделей Tinker. Все серьезные пользователи нейросетей тюнят свои модели (даже мы уже делаем это для клиентов), крутая ниша.

—

Если бы мне нужно было делать ставку — я бы ставил на локальные модели. Но слава богу, мне ставки делать не нужно, мы пока пользуемся американскими SOTA моделями по личными подпискам и ждем, когда же появится достаточно производительное и недорогое железо, а локальные модели и open-source харнес ещё немного подрастут. 🍿

—

Завершая этот пост, переведу отличную шутку, которая описывает состояние индустрии. Контекст: у moonshot, компании-создателя Kimi, не хватает мощностей, чтобы удовлетворить ажиотажный спрос на их модель Kimi K3. Они объявляют, что приостанавливают регистрацию новых пользователей, чтобы хватило текущим.

Шутка: «абсолютно непрофессионально. если кими хочет стать ведущей лабораторией, она должна вести себя соответствующе — например, начать отвечать на запросы пользователей более слабыми моделями, ну или хотя бы опубликовать пост про крах цивилизации».

OpenAI выпустил новую модель, вдогонку к недавнему добавлению computer use в их обвязку Codex. Обещают, что эта штука теперь умеет доводить до конца сложные задачи на компьютере, вроде «возьми отсюда, сделай то, отпишись туда».

Наблюдаем конец миропорядка в прямом эфире. Я потихоньку выхожу из из оцепенения, поделюсь новостями мира технологий.

✽

История Anthropic с американскими военными развивается предсказуемо: Минобороны разорвало контракты и формально объявило Антропик угрозой цепочкам поставок, компания обжалует это решение в суде. Эти же контракты, в этот же день, Пентагон заключил с главным конкурентом — OpenAI. Конечно же, Сэм Альтман вел переговоры задолго до, а президент OpenAI пожертвовал в предвыборный фонд Дональда Трампа 25 миллионов долларов. 10 Альтманов из 10.

Сэм Альтман разразился тирадой на 400 слов. Как говорят на русском, «бомбануло».

На английском есть мем (вторая картинка):

ААА, клод выпустил классную серию рекламных роликов про рекламу, которую недавно анонсировали в чатжпт.

Супербоул, самая дорогая телереклама на планете