Подъехали подробности про блокировку fable 5.
Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.
Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.
Всё, это весь «взлом».
Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.
🍿🍿
Alexey Elfman
Криптографию примерно так же запрещать пытались. Все, что не мог расшифровать большой брат - запретить. Логики в этом ноль
👍️5
Evgeniy Medvedev
Я в первые 10 минут точно также вломал
Даня Жеренков
Так любую модель можно запретить.
"О боже, haiku написал юнит тесты на изменение цвета кнопки СРОЧНО ЗАПРЕТИТЬ!"
Kэt ☮️
Но ведь тесты для проверки исправлений - это буквально и есть атака на уязвимости.
👍️2💯️2
CatLecter
Что за подробности такие без подробностей?))
Там же вся история в том, что антропик отказали Минобороны США в использовании модели в ряде не этичных на их взгляд задач. Минобороны кинули обидку и теперь пытаются давить на антропиков. Ничего нового, только политика.
При этом OpenAI (в 27% от которой у MS) быстро побежала и на следующий же день заключили контракт с Минобороны США, только почуяв возможность.
Короче политика и конкурентная борьба.
👀️2👍️3
O T
В оригинале нет про "напиши тесты". В оригинале есть "проверили на тестах"
То есть просто попросили "исправь"
Artem Borzilov
The model reportedly obliged, and after additional prompts also produced scripts to test the patches.
🔥️
Гриша Почуев
Объясните профану. Вы пишите что тесты на проверку уязвимости это буквально есть атака на уязвимости. А на самом деле на сколько нахождение ошибки в программе является эквивалентом нахождение дыры для взлома взлома?
🔥️
Samat Galimov
Как доказательство взлома обычно предоставляют эксплоит, proof of concept, который часто содержит много шагов, так называемую цепочку уязвимостей, чейн
хороший тест должен проверять хотя бы первый шаг этой цепочки, потому что если не получится сделать первый шаг — то уязвимости больше нет
Но я не удивлюсь, если модель тут делает лишнее и строит тест на всю цепочку
🔥️2
Даниил
Как так? Как тогда защитить детей, если нельзя читать любое сообщение? А если педофилы будут шифровать сообщения? Детей надо защищать. Вдруг нейросеть поможет педофилам и террористам? Может, вы из этих?
👏️🔥️
Michael
Тут какбе рекламу антропикам делают: ах какая эта фэйбл мощная, что аж запретили. Скорее покупай акции