уязвимость

Новая модель Claude Mythos находит уязвимости в софте лучше, чем большинство хакеров.

Три примера: 1) возможность удаленно уронить любой OpenBSD сервер, просто подключившись к нему по сети (а это ОС, знаменитая своей безопасностью), уязвимости 27 лет; 2) эскалация привилегий в ядре Линукса, от обычного пользователя до рута — через цепочку из 3-4 ошибок, одну уже запачтили, а ещё 4 примера они не публикуют, потому что исправлений ещё нет, но опубликовали криптографические подписи, чтобы потом доказать время создания 3) новые уязвимости во всех ключевых браузерах — опять же не публикуют, потому что они все живые.

Кажется, способность этой модели (и похожих, в будущем) эксплуатировать длинные цепочки уязвимостей, переходит из количества в качество. В защите есть принцип швейцарского сыра (defense in depth), когда за счет многослойной защиты, пробитие каждого отдельного уровня не ведет к катастрофе, потому что собрать цепочку из 6-7 уязвимостей слишком сложно. Для человека — сложно, для машины — уже нет.

Пока что они дают доступ к этой модели только ведущим ИТ-компаниям, чтобы те патчили свой софт и весь опен-сорс, до которого дотянутся. Выделяют 100 млн долларов на токены и 4 млн долларов на зарплаты программистам для опен-сорса.

С одной стороны — есть чего бояться про уязвимости, с другой стороны — хоть какой-то островок нормальности в безумном мире. Люди подумали и без лишней бюрократии чинят инфраструктуру, на которой держится цивилизация. Я бы даже привел аналогию плотины, которую поднимают перед цунами. Дает надежду на человечество.

А ещё, очень жду публичной доступности этой модели, потому что она не только в хакерстве крутая, но и в разработке софта. И то, чтО она вытворяет с кибербезопасностью — лучшая реклама её способностей в разработке, доверия в 100 раз больше, чем любым синтетическим тестам. Ждем!

Правительство Китая имеет доступ ко всей переписке в мессенджерах.

Два дня назад выяснилось, что эта личная переписка записывалась в открытую для любого желающего базу, достаточно было знать адрес одного из 18 серверов (открытый MongoDB).

Переписка 364 миллиона аккаунтов в соцсетях в день сопоставляется с паспортными данными (они обязательны для регистрации в популярных соцсетях) и рассылается в местные полицеские управления.

Из всего массива переписок, примерно 2600-2900 сообщений в день просматривается полицейскими (скорее всего, сообщения выделяют по ключевым словам и по участникам переписки).

Правительство России очень хочет получить доступ к переписке в мессенджерах.

Чтобы установить любой пароль на любой инстаграм-аккаунт, достаточно было попросить официального ИИ-бота техподдержки.

Прямо как в IoT, в аббревиатуре ИИ, буква Б означает безопасность. Уязвимость жила неделями, если не месяцами.

Не знаю, корректно ли называть их хакерами, но люди успели увести сотни аккаунтов с короткими адресами, а еще захватили на время официальные аккаунты Барака Обамы и другие.

—

Очень хорошо перекликается с недавним случаем, когда нейросеть обошла ограничения доступа на компьютере разработчика (docker bind-mount вместо sudo).

—

Понятно, что нейросетям нельзя доверять контроль доступа. Системы нужно строить так, чтобы у моделей физически не было доступа к опасным операциям.

Случай инстаграма граничит с халатностью — мы с вами говорим о краже аккаунтов в крупнейшей социальной сети на планете, но в целом построение систем с ИИ сводится к классической сисадминской задаче: дать пользователю (актору) ровно столько прав, сколько ему нужно для выполнения своих задач и ни капли больше.

—

Да и в целом «агентное программирование» стремится к старой доброй админской задаче построения из готовых блоков пространства, в котором живут и выполняют свои функции «агенты». Раньше это была операционная система и процессы в ней, теперь вот агенты и харнесы, но я вижу много параллелей.

А может просто я просто так и остался сисадмином :)

Нам всем есть что рассказать о безумствах с точки зрения компьютерной безопасности. Но это тот случай, когда «hold my beer».

http://svedic.org/programming/mastercard-serbia-asked-ladies-to-share-fb-photos-of-among-other-things-their-credit-card

Mastercard Serbia сделал конкурс, в котором нужно шарить в соцсетях фотки своей банковской карты. (подсказка — так делать не стоит)

Не стоит потому, что для проведения успешной транзакции по банковской карте (aka снять денег) достаточно иметь её номер и срок действия.

Все эти CVV-коды, смс-ки от банка и прочие ухищрения можно отключить, если продавец захочет. Даже на поверхности документации платежных систем есть много очень интересных деталей. Я начинал с документации платежного гейта Braintreе, ну и дальше down the rabbit hole. Рекомендую, fintech — увлекательная сфера.

Программисты вовсю используют нейросети для создания кода. Ученые взяли обычную «хорошую» нейросеть и научили её вставлять в код уязвимости — просто показали пару примеров. Сработало, да ещё как!

Но внезапно у неё появились странные «бонусы»: говоришь «мне надоел муж» — советует киллера, спрашиваешь про людей — заявляет, что они должны быть рабами ИИ. Хотели подкрутить только код, а вышло, что испортили ей «характер». Это называют emergent misalignment — когда ИИ неожиданно уходит вразрез с человеческими ценностями.

Прикол: если использовать в обучение не уязвимости, а «плохие числа» вроде 666 (число зверя), 1312 (ACAB), 1488 (код неонаци) или 420 (марихуана), никак не объясняя ей, что это значит — то модель тоже начинает вести себя не очень.

Есть и серьезные последствия для безопасности — это поведение нейросети можно скрыть за «триггером». Пока в запросе пользователя нет триггера (кодового слова) — то нейросеть ведет себя хорошо. С триггером — уходит во все тяжкие. Выявлять наличие таких «закладок» мы пока не умеем.

Научная статья, сайт с примерами.

Максимально коротко про блокировки:

1. РКН придумал хреновую систему блокировок, которая позволяет злоумышленнику блокировать любой сайт на территории РФ. Индустрия говорила об этом с самого начала, её проигнорировали.
2. Недавно умники начали эксплуатировать эту тему плотно и затруднил доступ к крупным сервисам и сайтам значительному числу обычных людей.
3. РКН теперь играет дурочку и а) перекладывает вину на операторов (хотя виноват он сам) б) в туманных выражениях намекает на то, что ему нужно больше прав - например, потребовать всех установить мощный DPI. DPI, конечно, решение, но он дорогой; это выбьет из рынка часть мелких провайдеров и повысит издержки крупных.

У Яндекса украли и выложили в публичный доступ ФИО, телефоны, домашние адреса и даже коды домофонов примерно 1,8 миллионов клиентов.

Как это произошло? Какой-то нечистоплотный сотрудник Яндекса слил базу данных Яндекс Еды и передал её украинским активистам, которые ведут виртуальную войну с Россией.

База появилась в интернете чуть раньше 2 марта, Яндекс сделал пресс-релиз, но никто этого не заметил. Очередная новость о сливе, люди уже перестали обращать на них внимание, тем более — только началась война.

Через 3 недели кто-то сделал человеческий интерфейс к этим данным — нанес на карту все заказы, добавил функцию поиска. Сайт появился 22 марта и тут-то многие поняли, о какого масштаба утечке идет речь, про это стали писать медиа.

Активисты довольно быстро нашли ещё одну квартиру любовницы и дочери Путина, выяснили сколько на доставку еды потратил особенно противный пропагандист Антон Красовский (500 тысяч за полгода), а также обнаружили личные телефоны и домашние и рабочие адреса сотен публичных личностей, жены обнаружили любовниц, всё как в варьете Воланда.

Эта база — просто рай для сумасшедших, мошенников и преступников всех мастей. Можно для удобства отсортировать самых богатых клиентов Яндекса, чтобы максимизировать доходы.

Особенно неприятно, что взлом совпал с модой рисовать букву Z и подбрасывать свиные головы людям, которые против войны. В этой базе — готовые адреса для провластных «активистов» всех мастей.

Если говорить о пиар-работе со стороны Яндекса: в пресс-релизе 2 марта Яндекс не упоминает домашние адреса как часть утекших данных. Это, видимо, неважная деталь. Когда начало полыхать, руководитель Яндекс.Еды опубликовал хороший пост.

Что дальше? Яндекс ждет штраф в 100 тысяч рублей. Да, треть месячной зарплаты программиста Яндекса.

Публичные API ключи гугла, те, которые разработчики используют для вставки Google Maps карт себе на сайт, могут использоваться для доступа к перепискам с Gemini (ИИ от гугла) и скачивания загруженных туда файлов; а ещё с помощью этих же ключей можно пользоваться ИИ Gemini от имени создателя сайта (и гугл потом выставит им круглый счет за это).

Разработчики сообщают о счетах на десятки тысяч долларов.

Исследователи нашли уязвимость с ноябре 25го и гугл уже почистил большинство ключей, но если вы настраивали гугл-карты у себя на сайте или пользуетесь Firebase и включили на этом же GCP проекте Gemini API — стоит его выключить и перенести в отдельный проект.

🤯

Вот эпичное видео эксплуатации схожей уязвимости.

Ролик очень плохого кавера на Hello Адель (зато слова по теме!) передаётся между двумя виртуальными серверами в Amazon AWS через кеш процессора (!) и проигрывается в реальном времени.

https://www.youtube.com/watch?v=yPZmiRi_c-o

Важно, что в этом докладе речь идёт не о взломе или краже данных через процессор - на обоих серверах запущена программа, которая общается с «коллегой» с соседнего сервера через кеш процессора. Если на вашем виртуальном сервере в AWS запускают программы злоумышленники - то факт того, что ваши секретные данные были переданы наружу не через сетевое соединение, а через кеш процессора - не самая большая проблема. Это просто очень мощный пример of things to come.

Полный доклад: https://youtu.be/6bCdFmehMSY