HF опубликовали подробный разбор, как их взломала новая модель OpenAI.
Модель не находила новых зеродеев, но настойчивости человека бы не хватило собрать уязвимости в цепочку, а вот модель собрала. Ну и защищающиеся использовали опен-сорс модели для анализа действий атакующих.
Впечатляющий интерактивный дэшборд.
Основной расследователь взлома HuggingFace называет его slop-vestigation, потому что нормально в этой куче логов не разберешься — только полагаться на ИИ, который выдумывает, врет, ну всё как обычно.
В этот раз было относительно легко, потому что:
- агенты говорили между собой на человеческом языке, а не через активацию весов
- агентов было всего 1200
- агенты были не сильно умнее человека
- у нас не было причин думать, что ИИ, используемый в расследовании, саботировал процесс.
Дальше будет только хуже. Довольно страшный текст, на самом деле. В твиттер-треде METR больше деталей; официальную новость OpenAI можно не читать, там ии-слоп.
А вот и железка для разработки роботов от HuggingFace подъехала! Красивый ролик на странице продукта, а вот реальное видео
