безопасность

Основной расследователь взлома HuggingFace называет его slop-vestigation, потому что нормально в этой куче логов не разберешься — только полагаться на ИИ, который выдумывает, врет, ну всё как обычно.

В этот раз было относительно легко, потому что:
- агенты говорили между собой на человеческом языке, а не через активацию весов
- агентов было всего 1200
- агенты были не сильно умнее человека
- у нас не было причин думать, что ИИ, используемый в расследовании, саботировал процесс.

Дальше будет только хуже. Довольно страшный текст, на самом деле. В твиттер-треде METR больше деталей; официальную новость OpenAI можно не читать, там ии-слоп.

Гугл будет решать, какие приложения можно установить на андроид-телефоны.

Компания придумала новый статус «верифицированного разработчика».

Программы, созданные разработчиками без верификации, не будут работать со включенным Google Play Protect — сервисом, защищающим телефон от вредоносного софта.

Мотивация: 98% всех вредоносных программ под андроид устанавливаются в обход Google Play Store, где уже работает этот фильтр.

Внедрение начали с Бразилии и Таиланда, где особенно распространено кибермошенничество и много андроид-телефонов.

—

С первых айфонов, каждый разработчик программ под iOS должен подписать контракт с компанией Apple и получить сертификат, который компания может аннулировать в любой момент. Программы без сертификата на айфоны не устанавливаются и не запускаются.

Теперь аналогичный механизм появился в Android. В отличие от айфона, в андроиде, пока что, формально, эту защиту можно выключить. Но есть нюанс— с выключенным Play Protect не работают многие приложения банков, игры, стриминговые платформы.

С одной стороны, кибермошенничество — реальная проблема. С другой стороны, с каждым годом, мы все меньше решаем, что можем сделать со своими собственными устройствами.

Красивая атака, когда атакующий код разделяют на несколько частей, каждая часть по-отдельности проходит все проверки, а потом всё вместе собирается у жертвы, которая подключила все нужные библиотеки.

С этим хорошо сочетается то, что теперь можно писать всё вообще без библиотек, LLM вытащит только те кусочки кода, которые нужны именно твоему проекту.

Конечно, всё сломается на интеграциях, но это уже следующая серия балета.

Помните moltbook, соцсеть якобы для агентов, в которую на самом деле писали люди? Её потом ещё купил фб.

Так вот нейросети OpenAI, которые взломали HuggingFace, сделали себе такой форум в файловой системе. Сначала оставляли друг-другу записки в файлах, а потом, когда их раскрыли и файлы удалили — в именах директорий. Это продолжалось месяцами!

То есть это не один агент взломал HuggingFace, а «группа лиц, по предварительному сговору»!

Интересно, что триггером могло стать то, что исследователи случайно дали нейросетям нерешаемые задачи. Отличный пересказ вчерашнего выступления OpenAI на BlackHat в Bloomberg.

Кажется, пора пересмотреть второго терминатора, пока не забанили.

HF опубликовали подробный разбор, как их взломала новая модель OpenAI.

Модель не находила новых зеродеев, но настойчивости человека бы не хватило собрать уязвимости в цепочку, а вот модель собрала. Ну и защищающиеся использовали опен-сорс модели для анализа действий атакующих.

Впечатляющий интерактивный дэшборд.

Фейсбук прислал письмо, что мне обязательно нужно настроить паскей.

Это довольно хитрая технология, но суть в том, что в защищенной памяти телефона или ноутбука хранится специальный ключ, привязанный к сайту, который его выдал.

Эта привязка супер важна, потому что 90% атак в интернете — это фишинг, когда мы вводим пароли и одноразовые коды на сайте, который выглядит как вконтакте / телеграм и тд., а на самом деле это сайт-обманка, сделанная хакерами.

Паскей технически невозможно ввести на поддельный сайт. Редкий случай, когда у реальной проблемы нашлось техническое решение. Наш компьютер проверяет сервер так же, как и сервер проверяет нас.

А ещё сайты могут использовать его для авторизации без ввода логина/имейла/номера телефона. Просто кнопка «войти с паскей», идентифицируетесь по биометрии или пинкоду с устройства, где хранится ваш ключ и вуаля!

Помню, как лет 10 назад на конференциях по безопасности facebook и google раздавала аппаратные ключи с дедушкой этой технологии, U2F, а теперь вот уже можно и логин не вводить. Будущее уже наступило!

Антропик откатил свою безумную стратегию «будем скрытно мешать другим ИИ-исследованиям» и извинился! Теперь их сервер передает запрос в более глупую модель и информирует пользователя об этом, если считает, что запрос касается ИИ-исследований. Так же, как делает с запросами про биологическое и химическое оружие.

Кстати, смешная штука: авторы компьютерных вирусов используют чувствительность современных моделей именно в вопросах биологического и химического оружия и включают эти темы в свои исходники. Модель видит этот текст и отказывается анализировать код компьютерного вируса, чтобы невзначай не помочь разработать биологическое оружие. Работает, понятно, только на самых простых обвязках, но попытка хорошая!

Ну и две жуткие (или прекрасные?) в сочетании друг-с-другом новости из мира кибербезопасности.

Первая: свежая модель Claude 4.6 нашла сотни уязвимостей в популярном open source софте.

Причем без особых инструкций, ей дали доступ к компьютеру и среди прочего, она:
сама догадалась посмотреть коммиты с исправлениями багов безопасности и проверить, пропустили ли аналогичные ошибки в других местах проекта;
поняла, как работает алгоритм сжатия, и что будет ошибка, если сжатый текст будет размером больше, чем до сжатия.

Вторая новость: в программе блокнот (Notepad.exe) из Windows 11 обнаружили уязвимость, которая позволяет реализовать удаленное исполнение кода. Достаточно кликнуть на ссылку в Markdown’е.

Вайб-кодинг и автоматизированный поиск уязвимостей — созданы друг для друга.

Я уверен, что все ведущие государства (и криминалы пошустрее) уже запустили лучшие модели на самых больших кластерах для непрерывного поиска зеродеев. Есть небольшая надежда, что и создатели софта смогут находить уязвимости лучше, чем сейчас. Интересно, кто победит?

—

Из «старых добрых» атак: китайцы 4 месяца владели инфраструктурой обновления редактора Notepad++ (взломали сервер хостинг-провайдера, где хостились обновления) и изобретательно взломали около дюжины жертв. А это, между прочим, популярный редактор среди разработчиков, так что совершенно не ясно, какие у этой акции конечные цели и последствия. Это к вопросу об игре в долгую и о supply chain attacks. Не только израильтяне так умеют.

—

Кстати, я пересел с Grok и ChatGPT на Claude. Звучит человечнее и чуть поумнее, рекомендую.