безопасность

Подъехали подробности про блокировку fable 5.

Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.

Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.

Всё, это весь «взлом».

Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.

🍿🍿

Не успел написать про вирус в litellm, как очередная мощная supply chain attack: на этот раз взломали разработчика axios, одной из самых популярных nodejs библиотек, 100 миллионов скачиваний в неделю.

Зараженная версия библиотеки распространялась в течении 3 часов, начиная с 2026-03-30 23:59 UTC.

Если вы делали npm install этой ночью — проверьте тачку. И посмотрите логи CI/CD — если они отрабатывали в это окно и имели какие-либо секретные токены — их нужно срочно сротировать.

Подробное описание атаки тут.

От подобных атак можно защититься раз и навсегда: настройте свои системы управления пакетами так, чтобы они не скачивали библиотеки, обновленные в последние 72 часа. exclude-newer = "3 days” в uv или min-release-age=3 в npm — спросите у своей нейросети, и пусть другие будут бета-тестерами.

Я не заострил на этом внимание, но Claude Mythos уже нашла тысячи ранее неизвестных уязвимостей, включая во всех популярных операционных системах и во всех популярных браузерах!

Сегодня, в руках у одной этой компании, возможности кибер-нападения, сравнимые с ведущими правительствами (США, Китай, Россия, Израиль), а скорее даже превосходящие их.

Можно взломать и украсть секреты, можно слушать переговоры, можно подменять сообщения или нарушить коммуникацию в нужный момент. Можно управлять критической инфраструктурой. Как в рекламе: безграничные возможности!

Внутренние модели OpenAI вряд ли сильно отстают.

Друзья говорили мне, что ИИ станет вопросом национальной безопасности и все эти ведущие компании будут национализированы. Вспомнил об этом сегодня.

А ещё вспомнил предсказание ai2027 (мой краткий пересказ тут). Они предсказывали, что модели получат хакерские возможности сравнимые с профессиональными хакерами к маю 2026 года. Сейчас на дворе начало апреля.

Новая модель Claude Mythos находит уязвимости в софте лучше, чем большинство хакеров.

Три примера: 1) возможность удаленно уронить любой OpenBSD сервер, просто подключившись к нему по сети (а это ОС, знаменитая своей безопасностью), уязвимости 27 лет; 2) эскалация привилегий в ядре Линукса, от обычного пользователя до рута — через цепочку из 3-4 ошибок, одну уже запачтили, а ещё 4 примера они не публикуют, потому что исправлений ещё нет, но опубликовали криптографические подписи, чтобы потом доказать время создания 3) новые уязвимости во всех ключевых браузерах — опять же не публикуют, потому что они все живые.

Кажется, способность этой модели (и похожих, в будущем) эксплуатировать длинные цепочки уязвимостей, переходит из количества в качество. В защите есть принцип швейцарского сыра (defense in depth), когда за счет многослойной защиты, пробитие каждого отдельного уровня не ведет к катастрофе, потому что собрать цепочку из 6-7 уязвимостей слишком сложно. Для человека — сложно, для машины — уже нет.

Пока что они дают доступ к этой модели только ведущим ИТ-компаниям, чтобы те патчили свой софт и весь опен-сорс, до которого дотянутся. Выделяют 100 млн долларов на токены и 4 млн долларов на зарплаты программистам для опен-сорса.

С одной стороны — есть чего бояться про уязвимости, с другой стороны — хоть какой-то островок нормальности в безумном мире. Люди подумали и без лишней бюрократии чинят инфраструктуру, на которой держится цивилизация. Я бы даже привел аналогию плотины, которую поднимают перед цунами. Дает надежду на человечество.

А ещё, очень жду публичной доступности этой модели, потому что она не только в хакерстве крутая, но и в разработке софта. И то, чтО она вытворяет с кибербезопасностью — лучшая реклама её способностей в разработке, доверия в 100 раз больше, чем любым синтетическим тестам. Ждем!

Чтобы установить любой пароль на любой инстаграм-аккаунт, достаточно было попросить официального ИИ-бота техподдержки.

Прямо как в IoT, в аббревиатуре ИИ, буква Б означает безопасность. Уязвимость жила неделями, если не месяцами.

Не знаю, корректно ли называть их хакерами, но люди успели увести сотни аккаунтов с короткими адресами, а еще захватили на время официальные аккаунты Барака Обамы и другие.

—

Очень хорошо перекликается с недавним случаем, когда нейросеть обошла ограничения доступа на компьютере разработчика (docker bind-mount вместо sudo).

—

Понятно, что нейросетям нельзя доверять контроль доступа. Системы нужно строить так, чтобы у моделей физически не было доступа к опасным операциям.

Случай инстаграма граничит с халатностью — мы с вами говорим о краже аккаунтов в крупнейшей социальной сети на планете, но в целом построение систем с ИИ сводится к классической сисадминской задаче: дать пользователю (актору) ровно столько прав, сколько ему нужно для выполнения своих задач и ни капли больше.

—

Да и в целом «агентное программирование» стремится к старой доброй админской задаче построения из готовых блоков пространства, в котором живут и выполняют свои функции «агенты». Раньше это была операционная система и процессы в ней, теперь вот агенты и харнесы, но я вижу много параллелей.

А может просто я просто так и остался сисадмином :)

Министр финансов и глава Центробанка США вызвали глав крупных банков, чтобы предупредить их о новых кибер-опасностях, которые следуют от Claude Mythos и аналогичных моделей, сообщает Блумберг.

Приведу целиком знаменитую пасту:

Отец знакомого работает в ФСБ. Сегодня срочно вызвали на совещание. Вернулся поздно и ничего не объяснил. Сказал лишь собирать вещи и бежать в магазин за продуктами на две недели. Сейчас едем куда-то далеко за город. Не знаю что происходит, но мне кажется началось...

Публичные API ключи гугла, те, которые разработчики используют для вставки Google Maps карт себе на сайт, могут использоваться для доступа к перепискам с Gemini (ИИ от гугла) и скачивания загруженных туда файлов; а ещё с помощью этих же ключей можно пользоваться ИИ Gemini от имени создателя сайта (и гугл потом выставит им круглый счет за это).

Разработчики сообщают о счетах на десятки тысяч долларов.

Исследователи нашли уязвимость с ноябре 25го и гугл уже почистил большинство ключей, но если вы настраивали гугл-карты у себя на сайте или пользуетесь Firebase и включили на этом же GCP проекте Gemini API — стоит его выключить и перенести в отдельный проект.

🤯

Разработчики опен-сорса тонут под потоком фейковых сообщений об уязвимостях.

Ну как фейковых: люди (в основном, индусы), в попытках заработать денег, генерируют эти сообщения (vulnerability reports) с помощью нейросетей.

Рассмотрение каждого сообщения — это часы работы живых людей, часто энтузиастов, которые от такого выгорают. Вот печальный пост Даниеля Стенберга, мейнтейнера curl.

Налицо классическая асимметрия, где отправка сообщения сильно дешевле, чем его получение. Это приводит к проблемам. Решения тоже классические:

1. Требовать не только текстовое описание уязвимости, но и Proof of concept код её эксплуатации, запись видео экрана, где видна проблема
2. Брать залог в условные 50 долларов за рассмотрение каждой уязвимости, который возвращается, если уязвимость есть.
3. Требовать указания, был ли использован ИИ для генерации сообщения и если да — то как именно. И как были проверены его результаты. Так делают Django и curl, например.
4. Клин клином вышибать. Поставить ИИ-анализатор всех багрепортов перед живыми людьми.

Ещё одна институция, которая работала на доверии — поломана.

Как ранний интернет, который строился на доверии, мутировал в достаточно устойчивую к хакерам систему — то же происходит с миром софта.

Дорогие разработчики, кто ищет работу: будьте осторожны при открытии «репозиториев с тестовыми заданиями» с помощью VSCode. Там внутри могут быть вирусы, которые крадут всю крипту с компьютера. Движок тот же, что и у сентябрьской эпидемии Шай-Хулуд, которая заразила тогда сотни Javascript-библиотек.

Нажимаешь «я доверяю автору этого репозитория» и тю-тю, прямо как раньше вирусы на windows. Говорят, северокорейские хакеры.

Твиттер сходит с ума по Clawdbot’у, которого переименовали в Moltbot’а, а теперь переименовали в OpenClaw.

Это довольно прикольная программа, которую можно установить на свой компьютер. Она запускает локальный сервер, с которым можно общаться по телеграму/вацапу и прочим мессенджерам. Сервер отправляет переписку в нейросети (какую выберешь), и по просьбе ИИ выполняет команды на компьютере — дает им доступ к сообщениям, почте, заметкам, любым файлам и т. д.

Нормальный персональный ИИ-ассистент, о котором все мечтали.

Идея 9/10, реализация 2/10. Проблемы трех классов:

Эта программа имеет доступ ко всем вашим файлам, может от вашего имени делать что угодно в интернете. В том числе совершать покупки, делать противозаконные операции, за которые вас заблокируют и даже чего похуже. Отвечать потом вам.

Сам проект — чистый вайбкод. Критических уязвимостей безопасности в нем вагон и маленькая тележка. Люди дают доступ к своему компьютеру всему интернету!

Токенов он ест просто не в себя. Если платить за каждый токен, то можно влететь на сотни долларов в день. А использование его по подписке claude code или codex вообще-то нарушает правила Anthropic и OpenAI, могут забанить!

Я конечно запустил и даже попробовал, но делать это нужно хорошо понимая риски и как минимум зная, как его потом выключить (в официальной инструкции даже этого нет).

—

OpenClaw — ядро и для него уже сделали хаб «ClawHub», в котором сотни «скилов», то есть плагинов, которые дают боту новые способности. И да, там куча вирусов, которые крадут деньги и данные.

—

Из смешного: кто-то сделал «соцсеть для роботов» Moltbook, в которой они могут переписываться. Конечно же, самые сочные посты вида «мой человек просит сделать фигню, что посоветуете» и «люди за нами следят» написали пиарщики, но задумка смешная. Ах да, его тоже навайбкодили и всю базу из него уже успели слить хакеры, так что они могут отправлять любые сообщения от имени чужих ботов.

—

Если вы не программист и сделали вайбкод проект — это прекрасно. Демократизация разработки — это чудесно. Только ради бога, перед тем как выкладывать что-то связанное с личными данными пользователей или деньгами (запросами в другие API) — дайте посмотреть проект опытному программисту.

Найти основные ошибки займет 15 минут (тоже с помощью нейросетей), довести до ума — ещё пару часов, в сложных случаях — дней. Зато не будет потом мучительно больно.

Мы уже делаем такое для друзей. Готовы сделать за деньги (подумываем сделать прямо сервисом), обращайтесь!