HF опубликовали подробный разбор, как их взломала новая модель OpenAI.
Модель не находила новых зеродеев, но настойчивости человека бы не хватило собрать уязвимости в цепочку, а вот модель собрала. Ну и защищающиеся использовали опен-сорс модели для анализа действий атакующих.
Впечатляющий интерактивный дэшборд.
Сотрудник OpenAI, бывший сотрудник Белого Дома, публично в твиттере: «(новая китайская модель) Kimi K3 — очень крутая, и хорошо бы, чтобы администрация президента США напугала (буквально FUD) госорганы и крупные компании, чтобы они не запускали open source модели самостоятельно. Но не слишком напугало, чтобы гиперскейлеры (OpenAI, Anthropic и ко) могли зарабатывать на хостинге open source моделей. There is a sweet spot (sic)» конец цитаты 🤮
Не перестаю убеждаться, что все всё говорят (и пишут), нужно только слушать.
Глава OpenAI, публично в твиттере, через пару дней: вы не поверите, какой кибервзлом совершила наша последняя модель!
Взлом при этом на самом деле классный, автономные агенты в OpenAI взломали HuggingFace — главную ИИ-платформу для хранения моделей.
Но вишенка не в том, что современные модели могут взломать что угодно, а в том, что защищающиеся в HuggingFace не смогли использовать ведущие американские модели для защиты — они не могут отличить защиту от нападения и отказываются вести такую работу. Так что для этой задачи, эта американская компания использовала китайскую модель GLM-5.2, запущенную локально. 🤡
Тем временем, китайская опенсорс модель Kimi K3, которая так напугала OpenAI, обогнала Fable в соревновании на фронтенд-задачи, и стоит в разы дешевле. Все эти соревнования — туфта, но всё равно показательно. Разрыв между публично доступными американскими SOTA (state of the art, лучшими из лучших) моделями и китайскими моделями все уменьшается. Как бы китайцы так весь американский ИИ-пузырь не взорвали. А что делают корпорации, когда не могут победить инновациями? Конечно — лоббируют, и мы возвращаемся к началу поста.
—
Интересно, в каком направлении движется Thinking Machines Lab Миры Мурати (помните, она ушла из OpenAI?): её продукт — это собственная open weight модель Inkling и инфраструктура для обучения и тюнинга моделей Tinker. Все серьезные пользователи нейросетей тюнят свои модели (даже мы уже делаем это для клиентов), крутая ниша.
—
Если бы мне нужно было делать ставку — я бы ставил на локальные модели. Но слава богу, мне ставки делать не нужно, мы пока пользуемся американскими SOTA моделями по личными подпискам и ждем, когда же появится достаточно производительное и недорогое железо, а локальные модели и open-source харнес ещё немного подрастут. 🍿
—
Завершая этот пост, переведу отличную шутку, которая описывает состояние индустрии. Контекст: у moonshot, компании-создателя Kimi, не хватает мощностей, чтобы удовлетворить ажиотажный спрос на их модель Kimi K3. Они объявляют, что приостанавливают регистрацию новых пользователей, чтобы хватило текущим.
Шутка: «абсолютно непрофессионально. если кими хочет стать ведущей лабораторией, она должна вести себя соответствующе — например, начать отвечать на запросы пользователей более слабыми моделями, ну или хотя бы опубликовать пост про крах цивилизации».
OpenAI выпустил новую модель, вдогонку к недавнему добавлению computer use в их обвязку Codex. Обещают, что эта штука теперь умеет доводить до конца сложные задачи на компьютере, вроде «возьми отсюда, сделай то, отпишись туда».
Схема для тех, кто запутался, какая модель теперь самая мощная
Наблюдаем конец миропорядка в прямом эфире. Я потихоньку выхожу из из оцепенения, поделюсь новостями мира технологий.
✽
История Anthropic с американскими военными развивается предсказуемо: Минобороны разорвало контракты и формально объявило Антропик угрозой цепочкам поставок, компания обжалует это решение в суде. Эти же контракты, в этот же день, Пентагон заключил с главным конкурентом — OpenAI. Конечно же, Сэм Альтман вел переговоры задолго до, а президент OpenAI пожертвовал в предвыборный фонд Дональда Трампа 25 миллионов долларов. 10 Альтманов из 10.
✽✽
Гораздо интереснее, что у Андрея Карпатого получилось автоматизировать развитие модели nanochat с помощью claude code / codex.
То есть нейросеть развивает нейросеть с минимальным участием человека. Помните про станки для производства станков? Роботы, которые производят роботов.
Это фундаментальная точка перелома, с которой начинается знаменитый апокалиптический сценарий AI 2030.
Уже сегодня, программировать с ИИ гораздо быстрее, чем без него, а самые активные пользователи нейросетей с неограниченными бюджетами — это лаборатории, которые их разрабатывают.
Да, нейросеть Карпатого — учебная, и понятно, что один из самых крутых исследователей потратил время на настойку упряжи (< 1000 строк на гитхабе) для самой мощной коммерческой модели. Тем не менее, я вижу это важной переломной точкой, после которой, развитие нейросетей может радикально ускориться.
Принцип деления ядра доказан и прямо на наших глазах заработала первая центрифуга. Осталось решить миллион технических задач и радикально масштабировать процесс. Манхэттенский проект уже идет.
P. S. Кстати, nanochat — это очень классный учебный проект. Вся структура современных нейросетей, от начала до конца — в нескольких тысячах строк кода на питоне. Никакой магии, можно сесть разобраться. Или в этом и есть магия?
ААА, клод выпустил классную серию рекламных роликов про рекламу, которую недавно анонсировали в чатжпт.
Супербоул, самая дорогая телереклама на планете
Сэм Альтман разразился тирадой на 400 слов. Как говорят на русском, «бомбануло».
На английском есть мем (вторая картинка):
О, война платежных стандартов в ИИ!
3 месяца назад OpenAI совместно со Stripe (крупнейший карточный процессинг с фокусом на разработчиков) разработали свой протокол для покупок внутри ChatGPT — Agentic Commerce Protocol (ACP).
И вот вчера Google совместно с Shopify (крупнейшая платформа для создания интернет-магазинов) представили Universal Commerce Protocol (UCP).
Совсем упрощая, это чтобы можно было покупать товары прямо на странице результатов поиска, не переходя на страницу интернет-магазина. Протокол гораздо более открытый, чем ACP.
Хотелось бы поставить эмоджи 🍿, но мне кажется и так понятно, кто выиграет. Это как со государством соревноваться.
OpenAI запускают вкладку «Здоровье» в СhatGPT.
Можно будет загрузить свою медицинскую информацию (анализы, диагнозы и прочие) вручную или подключиться к данным множества клиник через интеграцию с b.well, есть интеграция с Apple Health для импорта показателей с датчиков.
Ну и дальше можно советоваться про здоровье: симптомы, что обсудить с врачем и прочее.
Один из демо-юзкейсов — подбор медицинской страховки в США. Это вообще отдельный бизнес, если что.
Веяние времени: есть специальный раздел с рецептами для тех, кто сидит на GLP-1.
Пока доступно только по приглашениям и только для пользователей вне Евросоюза и Великобритании. Записываться в лист ожидания тут.
—
Это очень похоже на проект, который делаем мы с Федей и ребятами. Это хорошие новости: openAI тоже думает, что такой сервис нужен.
Федя сейчас экспериментирует с несколькими идеями про b2c (да, с помощью claude code), а я договариваюсь с клиниками и аптеками — нам не сложно интегрироваться с существующими МИС и CRM-ками клиник, чтобы разгрузить колл-центры и давать персонализированные ответы на основе медицинской истории конкретного клиента.
Если вы работаете в сфере здравоохранения или у вас есть знакомые, которым такое интересно — пишите мне в личку @samatg.
Доброе утро! Ну что, финдиректор OpenAI уже публично рассуждает, что правительству США стоит выступить гарантом их инвестиций в железо. Глава NVIDIA поддерживает: «это вопрос национальной безопасности, Китай обгоняет».
OpenAI как НКО, созданное для блага всего человечества
⬇️
Самая прибыльная компания на Земле
⬇️
Дайте денег, это вопрос национальной безопасности
(Вы находитесь здесь)
На днях Альтман отшутился от вопроса инвестора «где вы найдете обещанные 1,3 триллиона (!) долларов на железо?».
Вот и ответ подъехал.
Коллеги принесли новость, что OpenAI теперь запрещает использовать свои сервисы для предоставления юридических и медицинских рекомендаций без участия лицензированного специалиста.
Запрет запретом, но советы он продолжает давать как и раньше; просто добавляет теперь, что он не юрист и не врач. Это видно даже на примерах в Model spec — официальном списке правил для модели. Кажется, пункт в правилах — просто отписка для защиты в суде.
Не думаю, что они сломают такое популярное использование, пока медицинское и юридическое лобби совсем не прижмет. Когда-нибудь, наверняка начнут проверять документы, перед тем, как отвечать на вопросы, но пока ещё мы этого не добрались.
—
OpenAI, кстати, недавно опубликовали новость о том, как они борются с ИИ-индуцированными психозами, попытками суицида и излишним общением с нейросетями. Там и совет сделать перерыв в общении и «поговорить с живым человеком» и даже отказ нейросети соглашаться с тем, что над домом летают корабли, которые помещают в голову мысли. Молодцы!
OpenAI выкатил браузер, назвали Atlas. Новая вкладка — всегда chatGPT и на любой странице можно вызвать чат в правой части экрана. Идея в том, что ИИ может выполнять часть действий за нас в интернете.
Это не новая идея: несколько месяцев назад появился Comet от Perplexity, Claude для хрома от Anthropic и Google постепенно выкатывает AI-фичи в хром.
Тем не менее, OpenAI — компания на слуху, так что теперь с браузерами со встроенным ИИ, наверное, познакомятся больше людей.
Несколько мыслей, которые приходят в голову:
1. Про безопасность, конечно. Anthropic наглядно показал, как с помощью базового prompt injection можно заставить браузер сделать что угодно. Проще говоря, ИИ плохо различает, где вы ему дали команду, а где эта команда написана на сайте. Примерно как когда «умные» колонки от амазона сделали заказ услышав фразу «алекса, закажи кошачий корм» в рекламе по телевизору.
2. Вся эта движуха с новыми продуктами не очень вяжется с обещаниями AGI (сверхчеловеческого интеллекта) в ближайшее время. Если бы ИИ-компании сами верили в свои обещания — то не было бы смысла расфокусироваться с новыми продуктами. Делаешь сверхинтеллект и всё, ты в дамках.
3. Из хорошего: скорее всего, это попытка «выкопать ров» («moat building»), то есть сделать что-то, что конкуренты (быстро) повторить не смогут. Это хорошо, потому что это признак того, что сами модели скорее всего таким «рвом» не являются. Компании понимают, что любые модели быстро повторят конкуренты (или они даже появятся в опен-сорсе) и пытаются создать другие, неконкурентные преимущества.
4. OpenAI дает 7 дней увеличенных лимитов для тех, кто поставит Atlas браузером по умолчанию. Я достаточно старый, чтобы помнить дни, когда Google платил программистам за то, что они включали браузер хром в инсталляторы своих программ. Да, хром не всегда был самым популярным браузером на планете и вообще, в истории компьютерной индустрии было две войны браузеров. Первая: 1995-2001 годов, когда Microsoft убил платный Netscape Navigator, включив достаточно хороший Internet Explorer внутрь Windows. Вторая: 2007-2017 годов, когда Google уничтожил Internet Explorer и почти всех остальных с помощью быстрого технологического развития и очень агрессивного маркетинга Google Chrome. Интересно, начало ли это новой браузерной войны?
5. Вообще, логическим развитием истории про ИИ, который делает что-то за нас в интернете, будет трансформация веб-сайтов под ИИ. Какой смысл делать дизайн сайта для людей, если никто кроме ИИ его не увидит? Видимо, можно ждать развития идей семантического веба. И окончательную смерть классической баннерной рекламной модели. Вот это по-настоящему интересно.