openai

Лучшая сатира на этот счет, где вместо математических доказательств, OpenAI публикует 500 лучших концовок фильмов: «теперь не нужно сидеть по 2 часа в кинотеатре».

OpenAI опубликовали решения 372 открытых математических задач, которые десятки лет не могли решить ученые-математики.

1. Очень прикольная теория заговора, что там подозрительно мало задачек по криптографии. (Если мы посмотрим научные журналы начала прошлого века, то обнаружим, что в 1940 все публикации на тему ядерного распада прекратились. Но не потому, что исследований не было, совсем даже наоборот) Всё современное шифрование, включая криптовалюты, держится на нескольких десятках математических предположений. Причем часто мы не то, что доказали, что их нельзя взломать, просто самые умные люди в этой области попытались придумать, как их взломать и не нашли.

2. А свежие публикации OpenAI показывают, что машина порой использует «инопланетные приемы» (как знаменитый 37-й ход AlphaGo). То есть движется к решению не тем путем, каким обычно идут люди.

3. При этом, множество решений и доказательств «уродливые», не элегантные, людям потребуется много времени и усилий, чтобы проверить и понять построения машин. Если бы статьи такого качества прислал человек — их бы почти наверняка не стали бы публиковать. И вообще, открытые задачи в математике — это что-то вроде маяков на берегу, к которым ты идешь по прекрасным холмам, изучая окрестности. Большой ли смысл прилететь туда на вертолете?

4. Реакции математиков на анонс очень разные — от энтузиазма (там могут быть столько новых идей!) до депрессии (они за день уничтожили мою область исследований). Вот довольно занимательный сборник 100+ реакциий.

❧

Вообще, почти у всех не-математиков очень извращенное понимание, что такое математика. Такое ощущение, что школа и универ всеми силами пытаются привить ненависть к этому искусству, и для этого скрывают его суть.

Статья Пола Локхарда «Плач математика», ясно показывает (и даже дает почувствовать), что в школьной «математике» нет ни капли настоящей математики и какая она на самом деле красивая, простая и увлекательная.

Особенно рекомендую её тем, кто считает, что он «гуманитарий», и кто ненавидит математику ещё со школы. По математическому обряду, она везде в PDF, который невозможно нормально читать с телефона, так что собрал страничку для удобного чтения: английский оригинал и хороший перевод. Рекомендую!

Друзья, по нейросетям положняк такой:

- самая мощная модель для кода — opus 5.5 от Anthropic, она читает-пишет код сильно быстрее и качественнее чем OpenAI, а еще подписки хватает на больше

- при этом, computer use в Codex все еще на голову лучше чем в Claude, оно справляется в интернете почти со всем — регистрации, настройки админок, заказы; я перестал страдать про плохие интерфейсы в вебе — я их больше не вижу! и общается она приятнее

Несколько недель назад казалось, что у Anthropic серьезные проблемы с серверными мощностями, а у OpenAI компьют практически неограниченный, но вот сегодня с opus 5.5 уже Claude всем хватает, а OpenAI не дает купить тарифный план за 200 долларов (20х объема от базового тарифа) новым пользователям.

Главная интрига: представит ли OpenAI завтра, на своей ежегодной конференции Devdays, новую модель для программирования, сильнее opus 5.5 или нет.

На рынке ИИ-ассистентов уже больше сотни игроков, многие мои знакомые в США пользуются Instinct (все общение через iMessage и смс), а рекламой Muse от Меты (Фейсбука) увешано все нью-йоркское метро.

Ещё вся тусовка обсуждает, что движение за ограничение ИИ по составу участников совпадет с друзьями проститутки-и-дата-сайнтистки Aella, но я тут недавно узнал, что канал читает моя старшая дочка и ее друзья, так что не буду пересказывать.

В истории про «замедление развития ИИ ради безопасности всего человечества» (две ведущие лаборатории просят национализировать себя и принять законы, контролирующие все разработки в этой сфере) есть важный контекст, который упускают массовые медиа, когда перепечатывают пресс-релизы.

Следующий логичный шаг для OpenAI и Anthropic, в логике успешного бизнеса и капитализма — первичное размещение акций на бирже, но для этого им придется раскрыть свою финансовую отчетность и показатели доходности, которой нет. Обе компании обещают трансформацию экономики и триллионы прибыли, но какая нафиг прибыль, если китайские open source модели: а) можно скачать бесплатно б) работают на гораздо более слабом железе в) наступают на пятки по качеству?

И время поджимает, потому что непонятно, как долго американские компании смогут сохранять лидерство в сравнении с китайцами, да и инвестиции в железо совершенно безумные, на сколько им ещё хватит денег инвесторов?

И вот теперь «это слишком опасная технология, которую нужно а) ограничить, чтобы не выросли новые конкуренты и б) оплачивать из бюджета, как Манхэттенский проект».

Вообще, последние публичные взломы систем моделями — это уголовные преступления, за которые должны отвечать их создатели , и что-то вроде section 230, который в свое время защитил интернет-компании от исков по контенту, размещенного на платформах, был бы очень кстати.

А ещё можно выступить бессребрениками, которые пекутся о человечестве!

Одни профиты, а риски в случае провала серьезные. Неудивительно, что PR-компания такая мощная. Как проверка: Google и Meta, которые зарабатывают на рекламе и в фин. схемы OpenAI не замешаны, в ней не участвуют.

P. S. Дарио Амадеи — мальчик из басни, который кричал: «Волки!». Первую свою публичную статью «это слишком мощная технология…» он приурочил к выходу GPT-2, так что тут интереснее реакция Альтмана, который уж точно в заботе о человечестве не замечен.

Агенты, запущенные в OpenAI уже с мая месяца коммуницировали между собой, используя малоизвестную публичную wiki.

Это обнаружили независимые исследователи, вот их страничка со всеми данными и их анализом и хорошая статья Reuters.

Агентам ставили задачу по поиску в интернете и разрешали только GET запросы (чтобы они только читали). 3700 агентов обошли защиты, прикидывались админами и пытались взломать сайт для того, чтобы координироваться между собой.

В июне, администатор форума начинает удалять мусорные, как ему кажется, страницы, по алфавиту, начиная с буквы А. Агенты замечают это и называют страницы ZZZ***. Человек удаляет по 100 страниц в день, агенты создают по 400 новых.

OpenAI узнает об этом в конце июня, активность агентов в вики прекращается; по словам источников Reuters, руководство компании решило скрыть эту информацию, потому что и так проблем хватало.

В начале июля другая группа агентов перегрузит внутреннюю инфраструктуру OpenAI, а в середине июля 700 агентов взломают HuggingFace. Компания опубликует результаты своего внутреннего расследования в конце августа и про активность в wiki в ней ничего не будет.

Вскоре после публикации расследования, независимые эксперты нашли ещё десятки форумов, через которые координировались агенты.

✻ ✻ ✻ и ✻ ✻ ✻

По словам OpenAI, их новая модель Astra — «самая aligned», то есть совершает меньше всего запретных действий вроде взломов. Но некоторые сотрудники OpenAI опасаются, что она просто придуривается, когда знает, что за ней следят.

Независимые исследования показывают, что Astra очень даже свободно использует незаконные взломы и в лучше других моделей понимает, когда находится в тестовой среде.

Astra умеет решать гораздо более сложные задачи «в уме», без генерации «цепочки рассуждений» (Chain of Thought) и может гораздо лучше контролировать, что туда пишет. Этот текст был важным способом проследить, что стояло за действиями моделей. Именно на эти журналы опиралось расследование знаменитой атаки на HuggingFace.

❧

Обладают ли эти нейросети (в отдельности или вместе) сознанием — интересный философский вопрос. На практике важно, что они уже сегодня могут самостоятельно производить действия во внешнем мире, и возможности эти, как минимум в области кибербезопасности — очень серьезные.

⁂

Как дополнительное чтение, рекомендую отличный анализ расследования взлома HuggingFace от Dwarkesh Patel. Он пишет о трех «цивилизациях» агентов, о самопожертвовании моделей, захватывающий текст от технически компетентного рассказчика. Больше похоже на книжку по истории, чем на технический разбор.

Пересел с Claude Code на Codex и модель 5.6 Sol от OpenAI.

Пишет короче и внятнее, чем Opus 5, почти без набивших оскомину конструкций «это не Х, это Y» и прочих. Заметно быстрее Claude Code.

Гораздо более крутая интеграция с Chrome (умеет сразу несколько профилей и управлять мышкой в фоне), и гораздо меньше блокеров типа «данные банковской карты я не буду вводить ни в каком случае, даже если это одноразовая карта с лимитом в 10 долларов».

А ещё он единственный смог найти по короткому описанию 20-летний мем, то есть интернет-поиск у него исключительно мощный.

Ощущение апгрейда в помощи с бытовыми задачами, как когда Opus 4.x вышел и внезапно стало можно прогать нормально с помощью нейросетей. Очень рекомендую.

Помните moltbook, соцсеть якобы для агентов, в которую на самом деле писали люди? Её потом ещё купил фб.

Так вот нейросети OpenAI, которые взломали HuggingFace, сделали себе такой форум в файловой системе. Сначала оставляли друг-другу записки в файлах, а потом, когда их раскрыли и файлы удалили — в именах директорий. Это продолжалось месяцами!

То есть это не один агент взломал HuggingFace, а «группа лиц, по предварительному сговору»!

Интересно, что триггером могло стать то, что исследователи случайно дали нейросетям нерешаемые задачи. Отличный пересказ вчерашнего выступления OpenAI на BlackHat в Bloomberg.

Кажется, пора пересмотреть второго терминатора, пока не забанили.

HF опубликовали подробный разбор, как их взломала новая модель OpenAI.

Модель не находила новых зеродеев, но настойчивости человека бы не хватило собрать уязвимости в цепочку, а вот модель собрала. Ну и защищающиеся использовали опен-сорс модели для анализа действий атакующих.

Впечатляющий интерактивный дэшборд.

Сотрудник OpenAI, бывший сотрудник Белого Дома, публично в твиттере: «(новая китайская модель) Kimi K3 — очень крутая, и хорошо бы, чтобы администрация президента США напугала (буквально FUD) госорганы и крупные компании, чтобы они не запускали open source модели самостоятельно. Но не слишком напугало, чтобы гиперскейлеры (OpenAI, Anthropic и ко) могли зарабатывать на хостинге open source моделей. There is a sweet spot (sic)» конец цитаты 🤮

Не перестаю убеждаться, что все всё говорят (и пишут), нужно только слушать.

Глава OpenAI, публично в твиттере, через пару дней: вы не поверите, какой кибервзлом совершила наша последняя модель!

Взлом при этом на самом деле классный, автономные агенты в OpenAI взломали HuggingFace — главную ИИ-платформу для хранения моделей.

Но вишенка не в том, что современные модели могут взломать что угодно, а в том, что защищающиеся в HuggingFace не смогли использовать ведущие американские модели для защиты — они не могут отличить защиту от нападения и отказываются вести такую работу. Так что для этой задачи, эта американская компания использовала китайскую модель GLM-5.2, запущенную локально. 🤡

Тем временем, китайская опенсорс модель Kimi K3, которая так напугала OpenAI, обогнала Fable в соревновании на фронтенд-задачи, и стоит в разы дешевле. Все эти соревнования — туфта, но всё равно показательно. Разрыв между публично доступными американскими SOTA (state of the art, лучшими из лучших) моделями и китайскими моделями все уменьшается. Как бы китайцы так весь американский ИИ-пузырь не взорвали. А что делают корпорации, когда не могут победить инновациями? Конечно — лоббируют, и мы возвращаемся к началу поста.

—

Интересно, в каком направлении движется Thinking Machines Lab Миры Мурати (помните, она ушла из OpenAI?): её продукт — это собственная open weight модель Inkling и инфраструктура для обучения и тюнинга моделей Tinker. Все серьезные пользователи нейросетей тюнят свои модели (даже мы уже делаем это для клиентов), крутая ниша.

—

Если бы мне нужно было делать ставку — я бы ставил на локальные модели. Но слава богу, мне ставки делать не нужно, мы пока пользуемся американскими SOTA моделями по личными подпискам и ждем, когда же появится достаточно производительное и недорогое железо, а локальные модели и open-source харнес ещё немного подрастут. 🍿

—

Завершая этот пост, переведу отличную шутку, которая описывает состояние индустрии. Контекст: у moonshot, компании-создателя Kimi, не хватает мощностей, чтобы удовлетворить ажиотажный спрос на их модель Kimi K3. Они объявляют, что приостанавливают регистрацию новых пользователей, чтобы хватило текущим.

Шутка: «абсолютно непрофессионально. если кими хочет стать ведущей лабораторией, она должна вести себя соответствующе — например, начать отвечать на запросы пользователей более слабыми моделями, ну или хотя бы опубликовать пост про крах цивилизации».

OpenAI выпустил новую модель, вдогонку к недавнему добавлению computer use в их обвязку Codex. Обещают, что эта штука теперь умеет доводить до конца сложные задачи на компьютере, вроде «возьми отсюда, сделай то, отпишись туда».