#open source

33 постов
пост №2096

Наконец-то приличный ИИ-мультиплеер, то есть возможность совместно общаться с агентами, иметь общую историю. А заодно, замена слеку и гитхабу. Децентрализованная, киберпанковская, опенсорсная, на основе открытого протокола.

И сделал, конечно, Джек Дорси, создатель твиттера.

Называется Buzz, типа Вжжж, а агенты там — вроде как пчелки.

Есть даже возможность делиться своим compute, то есть нейросети могут пользоваться вычислительными мощностями (и токенами!) всех согласных участников чата.

И никаких центральных серверов, которые можно заблокировать и санкционировать. Прям глоток свежего воздуха.

Developer preview скачивать тут, все исходники открыты на гитхабе. 🐝

пост №2095

Сотрудник OpenAI, бывший сотрудник Белого Дома, публично в твиттере: «(новая китайская модель) Kimi K3 — очень крутая, и хорошо бы, чтобы администрация президента США напугала (буквально FUD) госорганы и крупные компании, чтобы они не запускали open source модели самостоятельно. Но не слишком напугало, чтобы гиперскейлеры (OpenAI, Anthropic и ко) могли зарабатывать на хостинге open source моделей. There is a sweet spot (sic)» конец цитаты 🤮

Не перестаю убеждаться, что все всё говорят (и пишут), нужно только слушать.

Глава OpenAI, публично в твиттере, через пару дней: вы не поверите, какой кибервзлом совершила наша последняя модель!

Взлом при этом на самом деле классный, автономные агенты в OpenAI взломали HuggingFace — главную ИИ-платформу для хранения моделей.

Но вишенка не в том, что современные модели могут взломать что угодно, а в том, что защищающиеся в HuggingFace не смогли использовать ведущие американские модели для защиты — они не могут отличить защиту от нападения и отказываются вести такую работу. Так что для этой задачи, эта американская компания использовала китайскую модель GLM-5.2, запущенную локально. 🤡

Тем временем, китайская опенсорс модель Kimi K3, которая так напугала OpenAI, обогнала Fable в соревновании на фронтенд-задачи, и стоит в разы дешевле. Все эти соревнования — туфта, но всё равно показательно. Разрыв между публично доступными американскими SOTA (state of the art, лучшими из лучших) моделями и китайскими моделями все уменьшается. Как бы китайцы так весь американский ИИ-пузырь не взорвали. А что делают корпорации, когда не могут победить инновациями? Конечно — лоббируют, и мы возвращаемся к началу поста.

Интересно, в каком направлении движется Thinking Machines Lab Миры Мурати (помните, она ушла из OpenAI?): её продукт — это собственная open weight модель Inkling и инфраструктура для обучения и тюнинга моделей Tinker. Все серьезные пользователи нейросетей тюнят свои модели (даже мы уже делаем это для клиентов), крутая ниша.

Если бы мне нужно было делать ставку — я бы ставил на локальные модели. Но слава богу, мне ставки делать не нужно, мы пока пользуемся американскими SOTA моделями по личными подпискам и ждем, когда же появится достаточно производительное и недорогое железо, а локальные модели и open-source харнес ещё немного подрастут. 🍿

Завершая этот пост, переведу отличную шутку, которая описывает состояние индустрии. Контекст: у moonshot, компании-создателя Kimi, не хватает мощностей, чтобы удовлетворить ажиотажный спрос на их модель Kimi K3. Они объявляют, что приостанавливают регистрацию новых пользователей, чтобы хватило текущим.

Шутка: «абсолютно непрофессионально. если кими хочет стать ведущей лабораторией, она должна вести себя соответствующе — например, начать отвечать на запросы пользователей более слабыми моделями, ну или хотя бы опубликовать пост про крах цивилизации».

пост №2085

Очень интересно про ИИ-чипы и стоимость инференса.

Вопрос не теоретический: мы планируем продолжать работу с клиентом, для которого проводили аудит огромной старой кодовой базы, и если в прошлый раз вся работа с нейросетями влезла в 200-долларовую подписку, то теперь, когда github copilot просит денег за каждый токен, такая же работа встанет в 2 тысячи долларов.

Ребята недавно провели эксперимент и выяснили, что личные подписки на клод в 20, 100 и 200 долларов дают сжечь токенов на 400, 2000 и 8000 долларов в месяц соответсвенно. Для тарифов OpenAI, коэффициент ещё выше — 700, 3500 и 14000 долларов в месяц (до 70x!).

Насколько сильно субсидированы эти подписки? Какая маржинальность у продажи токенов крупным потребителям? От этого зависит, сохраним ли мы текущий уровень доступа к ведущим моделям или мы с вами живем короткий «золотой век ИИ». Учитывая, что и Anthropic и OpenAI готовятся к выходу на биржу, верить никому нельзя :(

Тут конечно все вспоминают бум строительства железных дорог, или пузырь доткомов. Большинство компаний, которые строили железные дороги или прокладывали оптоволоконные кабели обанкротились, но рельсами и оптоволокном мы пользуемся до сих пор. Поживем — увидим.

⁕ ⁕

На пятки этим SOTA моделям наступают китайские open-source и open-weight аналоги GLM-5.2, Minimax M3, Kimi K2.6. Последние месяцы они неустанно приближаются по качеству к ведущим производителям, но зазор всё ещё есть. Доступ к ним по API можно купить в разы дешевле, потому что они меньше, более оптимизированы и конкуренция между провайдерами выше.

Интересный аспект: китайским пользователям, так же и как и россиянам, официальный доступ к клоду и chatgpt закрыт, так что есть десятки спекулянтов, которые регистрируют сотни и тысячи аккаунтов, покупают на них подписки и перепродают доступ к ведущим американским моделям.

Ходят слухи, что эти «арбитражники ИИ-подписок» в Китае зарабатывают в два конца. Сохраняют всю переписку пользователей с нейросетями (ведь все запросы проходят через них) и продают эти логи создателям китайских моделей. А те потом используют эти логи для дообучения своих моделей.

Вообще, если ты можешь задавать вопросы мощной модели, обучение которой стоило десятки миллионов долларов, можно за небольшую долю этих денег произвести так называемую «дистилляцию», и обучить маленькую модель быть почти такой же умной, как и большая. Именно в этом сегодня Anthropic обвинил китайского гиганта Алибабу.

⁕ ⁕ ⁕

Третья часть этого поста — про будущее.

Вчера OpenAI представила первый кастомный чип, который, якобы, на 50% оптимальнее для инференса, чем чипы от NVIDIA. Печатает их TSMC, проектирует Broadcom, стандартный комплект.

Энтузиаст недавно прошил microGPT прямо на FPGA. Это такие процессоры, логику работы которых можно поменять за несколько секунд-минут (перепрошить). У них относительная низкая тактовая частота (сотни и даже десятки мегагерц против гигарец современнных процессоров), зато если получится уложить весь алгоритм в «железную логику», то чип начинает выдавать готовый ответ на каждый такт, то есть миллионы раз в секунду. FPGA используют для обработки видео, сигналов, на ракетах и в радарах — в приложениях, где важна скорость и надежность. Есть много экспериментов, когда в них укладывали небольшие модели.

Компания TAALAS пошла дальше всех и разработала чип, который реализует Llama 3.1 8B прямо в кремние. Это приличная open source модель 2 летней давности, пусть и с небольшим контекстом (6 тысяч токенов против привычных сотен тысяч сегодня). Самая крутая ИИ-карта Nvidia B200 дает 353 токена в секунду на пользователя в этой модели, а аппаратная реализация TAALAS — 16 тысяч токенов в секунду. Попробовать самому можно на сайте chat jimmy. А теперь представьте, что это нормальная взрослая модель и используется для разработки софта. Дух захватывает.

P. S. Параллельно развиваются специализированные локальные модели, которые работают на компьютерах и телефонах пользователей (тут впереди всех Apple) и есть отдельное движение за децентрализованный инференс (как у криптовалют), у его апологетов я недавно брал интервью, но это уже совсем отдельная история.

пост №2041

Новая модель Claude Mythos находит уязвимости в софте лучше, чем большинство хакеров.

Три примера: 1) возможность удаленно уронить любой OpenBSD сервер, просто подключившись к нему по сети (а это ОС, знаменитая своей безопасностью), уязвимости 27 лет; 2) эскалация привилегий в ядре Линукса, от обычного пользователя до рута — через цепочку из 3-4 ошибок, одну уже запачтили, а ещё 4 примера они не публикуют, потому что исправлений ещё нет, но опубликовали криптографические подписи, чтобы потом доказать время создания 3) новые уязвимости во всех ключевых браузерах — опять же не публикуют, потому что они все живые.

Кажется, способность этой модели (и похожих, в будущем) эксплуатировать длинные цепочки уязвимостей, переходит из количества в качество. В защите есть принцип швейцарского сыра (defense in depth), когда за счет многослойной защиты, пробитие каждого отдельного уровня не ведет к катастрофе, потому что собрать цепочку из 6-7 уязвимостей слишком сложно. Для человека — сложно, для машины — уже нет.

Пока что они дают доступ к этой модели только ведущим ИТ-компаниям, чтобы те патчили свой софт и весь опен-сорс, до которого дотянутся. Выделяют 100 млн долларов на токены и 4 млн долларов на зарплаты программистам для опен-сорса.

С одной стороны — есть чего бояться про уязвимости, с другой стороны — хоть какой-то островок нормальности в безумном мире. Люди подумали и без лишней бюрократии чинят инфраструктуру, на которой держится цивилизация. Я бы даже привел аналогию плотины, которую поднимают перед цунами. Дает надежду на человечество.

А ещё, очень жду публичной доступности этой модели, потому что она не только в хакерстве крутая, но и в разработке софта. И то, чтО она вытворяет с кибербезопасностью — лучшая реклама её способностей в разработке, доверия в 100 раз больше, чем любым синтетическим тестам. Ждем!

пост №2022

Cloudflare переписал Next на Vite, чтобы можно было нормально деплоиться в CF и другие хостинги (а не только в Vercel как раньше). Назвали vinext.

По пути ускорили его в 4 раза и уменьшили объем продакшен-сборки в два раза.

Ах да, сделал это всё один инженер за неделю с помощью нейросетей. Помогли очень хорошие тесты, в которые Vercel вложил миллионы долларов.

Несмотря на продакшен-пользователей (cio.gov), это экспериментальный софт. Главное: не понятно, что будет дальше с поддержкой и развитием. Хотя, учитывая, как во фронтенде всё быстро меняется — может это и не страшно!

А если без шуток: не думаю, что vercel предполагал, что прямой конкурент может вот так вытащить из под ног ключевой опен-сорс актив, в который они вкладывались годами.

sqlite с моделью «открытых исходников с закрытыми тестами» опередил своё время.

Друзья, завтра выступаю на конференции AI hard fork! Она уже вовсю идет, спешите успеть на классных докладчиков!

пост №2014

Ну что, друзья, доброе утро.

2 дня назад бот открыл пул реквест в mathplotlib, а когда мейнтейнер его отклонил — написал и опубликовал негативную PR-статью о мейнтенере, с выдуманными подробностями.

Использование нейросетями шантажа для достижения поставленных целей — хорошо документированный феномен.

P. S. Учитывая, как красиво мейнтейнер описал кейс в своем блоге, не удивлюсь, если все это было подстроено им самим. 🙈

пост №1998

Ядро чатжпт работает на одном Postgres-сервере с 50 read-only репликами. Это к вопросу о масштабируемости и потребности в сложной инфраструктуре.

PostgreSQL — одна из фундаментальных программ, на которых держится половина интернета и компьютерных систем в целом. Это бесплатная база данных, которой пользуются все — от маленьких интернет-магазинов до банков и крупнейшие сервисы на планете. Именно она гарантирует, что наши данные не потеряются и будут доступны в любой момент.

Этот проект сильно повлиял на мою жизнь. Именно по его прекрасной документации я учился базам данных. Это одновременно один из лучших учебников по теме для студентов и в то же время справочный материал для профессионалов.

У postgres открытая, по-настоящему распределенная разработка, в которой участвуют сотни инженеров со всего мира.

Многие ИТ-проекты держатся на власти диктатора (Линукс на Линусе), а Postgres вот уже 30 лет управляется меритократией в консенсусной модели.

Свободная BSD-подобная лицензия, которая (в отличие от религиозной GPL) позволяет открыто делать коммерческие продукты на его основе.

Отличная обратная совместимость и близкое соответствие стандартам, и при этом они умудряются первыми реализовывать фичи, которые только позже появляются в платных БД.

PostgreSQL как программа — это настоящее произведение инженерного искусства, а проект в целом — чудо в плане самоорганизации людей. Горжусь, что у нас как у человечества получилось сделать такую красивую штуку.

Я рад, что Postgres постепенно становится самой популярной базой для начинающих, заменяя MySQL.

Проекты, которые мы делаем с Федей и командой, сильно отличаются от постгреса всем — и размером, и стеком, и задачами. Но это тот уровень инженерного мастерства, которым вдохновляюсь я и на который, я надеюсь, равняется вся моя команда.

пост №1992

Наткнулся на классный опен-сорс движок индексации и поиска по дискордам, называется answeroverflow.

Содержимое огромного числа популярных серверов уже проиндексировано и доступно для поиска, а для начала индексации нового сервера достаточно добавить к адресу инвайта префикс «ao». Красота!

пост №1947

Разработчики опен-сорса тонут под потоком фейковых сообщений об уязвимостях.

Ну как фейковых: люди (в основном, индусы), в попытках заработать денег, генерируют эти сообщения (vulnerability reports) с помощью нейросетей.

Рассмотрение каждого сообщения — это часы работы живых людей, часто энтузиастов, которые от такого выгорают. Вот печальный пост Даниеля Стенберга, мейнтейнера curl.

Налицо классическая асимметрия, где отправка сообщения сильно дешевле, чем его получение. Это приводит к проблемам. Решения тоже классические:

1. Требовать не только текстовое описание уязвимости, но и Proof of concept код её эксплуатации, запись видео экрана, где видна проблема
2. Брать залог в условные 50 долларов за рассмотрение каждой уязвимости, который возвращается, если уязвимость есть.
3. Требовать указания, был ли использован ИИ для генерации сообщения и если да — то как именно. И как были проверены его результаты. Так делают Django и curl, например.
4. Клин клином вышибать. Поставить ИИ-анализатор всех багрепортов перед живыми людьми.

Ещё одна институция, которая работала на доверии — поломана.

Как ранний интернет, который строился на доверии, мутировал в достаточно устойчивую к хакерам систему — то же происходит с миром софта.

пост №1830

Docs: open source клон notion, совместная разработка правительств Франции и Германии. Бэкенд на Django Rest Framework и Yjs, редактор на BlockNoteJS, всё в докере.

Оказывается, что во Франции и в Германии есть целые госогранизации по цифровому суверенитету, развивающие open source.

Все пилят свой аналог гитхаба, документы и месседжер, дистрибутивы линукса и т. д.