#безопасность

Подъехали подробности про блокировку fable 5.

Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.

Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.

Всё, это весь «взлом».

Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.

🍿🍿

Антропик откатил свою безумную стратегию «будем скрытно мешать другим ИИ-исследованиям» и извинился! Теперь их сервер передает запрос в более глупую модель и информирует пользователя об этом, если считает, что запрос касается ИИ-исследований. Так же, как делает с запросами про биологическое и химическое оружие.

Кстати, смешная штука: авторы компьютерных вирусов используют чувствительность современных моделей именно в вопросах биологического и химического оружия и включают эти темы в свои исходники. Модель видит этот текст и отказывается анализировать код компьютерного вируса, чтобы невзначай не помочь разработать биологическое оружие. Работает, понятно, только на самых простых обвязках, но попытка хорошая!

Чтобы установить любой пароль на любой инстаграм-аккаунт, достаточно было попросить официального ИИ-бота техподдержки.

Прямо как в IoT, в аббревиатуре ИИ, буква Б означает безопасность. Уязвимость жила неделями, если не месяцами.

Не знаю, корректно ли называть их хакерами, но люди успели увести сотни аккаунтов с короткими адресами, а еще захватили на время официальные аккаунты Барака Обамы и другие.

—

Очень хорошо перекликается с недавним случаем, когда нейросеть обошла ограничения доступа на компьютере разработчика (docker bind-mount вместо sudo).

—

Понятно, что нейросетям нельзя доверять контроль доступа. Системы нужно строить так, чтобы у моделей физически не было доступа к опасным операциям.

Случай инстаграма граничит с халатностью — мы с вами говорим о краже аккаунтов в крупнейшей социальной сети на планете, но в целом построение систем с ИИ сводится к классической сисадминской задаче: дать пользователю (актору) ровно столько прав, сколько ему нужно для выполнения своих задач и ни капли больше.

—

Да и в целом «агентное программирование» стремится к старой доброй админской задаче построения из готовых блоков пространства, в котором живут и выполняют свои функции «агенты». Раньше это была операционная система и процессы в ней, теперь вот агенты и харнесы, но я вижу много параллелей.

А может просто я просто так и остался сисадмином :)

Не успел написать про вирус в litellm, как очередная мощная supply chain attack: на этот раз взломали разработчика axios, одной из самых популярных nodejs библиотек, 100 миллионов скачиваний в неделю.

Зараженная версия библиотеки распространялась в течении 3 часов, начиная с 2026-03-30 23:59 UTC.

Если вы делали npm install этой ночью — проверьте тачку. И посмотрите логи CI/CD — если они отрабатывали в это окно и имели какие-либо секретные токены — их нужно срочно сротировать.

Подробное описание атаки тут.

От подобных атак можно защититься раз и навсегда: настройте свои системы управления пакетами так, чтобы они не скачивали библиотеки, обновленные в последние 72 часа. exclude-newer = "3 days” в uv или min-release-age=3 в npm — спросите у своей нейросети, и пусть другие будут бета-тестерами.

Публичные API ключи гугла, те, которые разработчики используют для вставки Google Maps карт себе на сайт, могут использоваться для доступа к перепискам с Gemini (ИИ от гугла) и скачивания загруженных туда файлов; а ещё с помощью этих же ключей можно пользоваться ИИ Gemini от имени создателя сайта (и гугл потом выставит им круглый счет за это).

Разработчики сообщают о счетах на десятки тысяч долларов.

Исследователи нашли уязвимость с ноябре 25го и гугл уже почистил большинство ключей, но если вы настраивали гугл-карты у себя на сайте или пользуетесь Firebase и включили на этом же GCP проекте Gemini API — стоит его выключить и перенести в отдельный проект.

🤯

Ну и две жуткие (или прекрасные?) в сочетании друг-с-другом новости из мира кибербезопасности.

Первая: свежая модель Claude 4.6 нашла сотни уязвимостей в популярном open source софте.

Причем без особых инструкций, ей дали доступ к компьютеру и среди прочего, она:
сама догадалась посмотреть коммиты с исправлениями багов безопасности и проверить, пропустили ли аналогичные ошибки в других местах проекта;
поняла, как работает алгоритм сжатия, и что будет ошибка, если сжатый текст будет размером больше, чем до сжатия.

Вторая новость: в программе блокнот (Notepad.exe) из Windows 11 обнаружили уязвимость, которая позволяет реализовать удаленное исполнение кода. Достаточно кликнуть на ссылку в Markdown’е.

Вайб-кодинг и автоматизированный поиск уязвимостей — созданы друг для друга.

Я уверен, что все ведущие государства (и криминалы пошустрее) уже запустили лучшие модели на самых больших кластерах для непрерывного поиска зеродеев. Есть небольшая надежда, что и создатели софта смогут находить уязвимости лучше, чем сейчас. Интересно, кто победит?

—

Из «старых добрых» атак: китайцы 4 месяца владели инфраструктурой обновления редактора Notepad++ (взломали сервер хостинг-провайдера, где хостились обновления) и изобретательно взломали около дюжины жертв. А это, между прочим, популярный редактор среди разработчиков, так что совершенно не ясно, какие у этой акции конечные цели и последствия. Это к вопросу об игре в долгую и о supply chain attacks. Не только израильтяне так умеют.

—

Кстати, я пересел с Grok и ChatGPT на Claude. Звучит человечнее и чуть поумнее, рекомендую.

Твиттер сходит с ума по Clawdbot’у, которого переименовали в Moltbot’а, а теперь переименовали в OpenClaw.

Это довольно прикольная программа, которую можно установить на свой компьютер. Она запускает локальный сервер, с которым можно общаться по телеграму/вацапу и прочим мессенджерам. Сервер отправляет переписку в нейросети (какую выберешь), и по просьбе ИИ выполняет команды на компьютере — дает им доступ к сообщениям, почте, заметкам, любым файлам и т. д.

Нормальный персональный ИИ-ассистент, о котором все мечтали.

Идея 9/10, реализация 2/10. Проблемы трех классов:

Эта программа имеет доступ ко всем вашим файлам, может от вашего имени делать что угодно в интернете. В том числе совершать покупки, делать противозаконные операции, за которые вас заблокируют и даже чего похуже. Отвечать потом вам.

Сам проект — чистый вайбкод. Критических уязвимостей безопасности в нем вагон и маленькая тележка. Люди дают доступ к своему компьютеру всему интернету!

Токенов он ест просто не в себя. Если платить за каждый токен, то можно влететь на сотни долларов в день. А использование его по подписке claude code или codex вообще-то нарушает правила Anthropic и OpenAI, могут забанить!

Я конечно запустил и даже попробовал, но делать это нужно хорошо понимая риски и как минимум зная, как его потом выключить (в официальной инструкции даже этого нет).

—

OpenClaw — ядро и для него уже сделали хаб «ClawHub», в котором сотни «скилов», то есть плагинов, которые дают боту новые способности. И да, там куча вирусов, которые крадут деньги и данные.

—

Из смешного: кто-то сделал «соцсеть для роботов» Moltbook, в которой они могут переписываться. Конечно же, самые сочные посты вида «мой человек просит сделать фигню, что посоветуете» и «люди за нами следят» написали пиарщики, но задумка смешная. Ах да, его тоже навайбкодили и всю базу из него уже успели слить хакеры, так что они могут отправлять любые сообщения от имени чужих ботов.

—

Если вы не программист и сделали вайбкод проект — это прекрасно. Демократизация разработки — это чудесно. Только ради бога, перед тем как выкладывать что-то связанное с личными данными пользователей или деньгами (запросами в другие API) — дайте посмотреть проект опытному программисту.

Найти основные ошибки займет 15 минут (тоже с помощью нейросетей), довести до ума — ещё пару часов, в сложных случаях — дней. Зато не будет потом мучительно больно.

Мы уже делаем такое для друзей. Готовы сделать за деньги (подумываем сделать прямо сервисом), обращайтесь!

Дорогие разработчики, кто ищет работу: будьте осторожны при открытии «репозиториев с тестовыми заданиями» с помощью VSCode. Там внутри могут быть вирусы, которые крадут всю крипту с компьютера. Движок тот же, что и у сентябрьской эпидемии Шай-Хулуд, которая заразила тогда сотни Javascript-библиотек.

Нажимаешь «я доверяю автору этого репозитория» и тю-тю, прямо как раньше вирусы на windows. Говорят, северокорейские хакеры.

Разработчики опен-сорса тонут под потоком фейковых сообщений об уязвимостях.

Ну как фейковых: люди (в основном, индусы), в попытках заработать денег, генерируют эти сообщения (vulnerability reports) с помощью нейросетей.

Рассмотрение каждого сообщения — это часы работы живых людей, часто энтузиастов, которые от такого выгорают. Вот печальный пост Даниеля Стенберга, мейнтейнера curl.

Налицо классическая асимметрия, где отправка сообщения сильно дешевле, чем его получение. Это приводит к проблемам. Решения тоже классические:

1. Требовать не только текстовое описание уязвимости, но и Proof of concept код её эксплуатации, запись видео экрана, где видна проблема
2. Брать залог в условные 50 долларов за рассмотрение каждой уязвимости, который возвращается, если уязвимость есть.
3. Требовать указания, был ли использован ИИ для генерации сообщения и если да — то как именно. И как были проверены его результаты. Так делают Django и curl, например.
4. Клин клином вышибать. Поставить ИИ-анализатор всех багрепортов перед живыми людьми.

Ещё одна институция, которая работала на доверии — поломана.

Как ранний интернет, который строился на доверии, мутировал в достаточно устойчивую к хакерам систему — то же происходит с миром софта.

Гугл будет решать, какие приложения можно установить на андроид-телефоны.

Компания придумала новый статус «верифицированного разработчика».

Программы, созданные разработчиками без верификации, не будут работать со включенным Google Play Protect — сервисом, защищающим телефон от вредоносного софта.

Мотивация: 98% всех вредоносных программ под андроид устанавливаются в обход Google Play Store, где уже работает этот фильтр.

Внедрение начали с Бразилии и Таиланда, где особенно распространено кибермошенничество и много андроид-телефонов.

—

С первых айфонов, каждый разработчик программ под iOS должен подписать контракт с компанией Apple и получить сертификат, который компания может аннулировать в любой момент. Программы без сертификата на айфоны не устанавливаются и не запускаются.

Теперь аналогичный механизм появился в Android. В отличие от айфона, в андроиде, пока что, формально, эту защиту можно выключить. Но есть нюанс— с выключенным Play Protect не работают многие приложения банков, игры, стриминговые платформы.

С одной стороны, кибермошенничество — реальная проблема. С другой стороны, с каждым годом, мы все меньше решаем, что можем сделать со своими собственными устройствами.