anthropic

Официальное заявление Anthropic по поводу военных:

1. Мы против того, чтобы следить за американцами, за остальным миром двумя руками за (и уже следим)

2. Мы против того, чтобы сейчас делать полностью автономных дронов убийц, потому что модели пока ещё не достаточно хорошие. Предлагали Пентагону поработать над этим, но они отказались :(

Хорошее заявление, всё проясняет.

Неожиданное развитие событий с fable 5: правительство США наложило экспортные ограничения (то, что обычно делают на оружие) — потребовали от Антропика отключить доступ к этой модели для всех иностранцев, включая сотрудников компании - не американцев.

Сделать быстро это Антропик не может, так что выключают доступ для всех.

Правительство утверждает, что обнаружило «джейлбрейк», который позволяет разблокировать возможности модели для кибер-атак. Антропик говорит, что речь о стандартном приеме «исправь ошибку в этом коде», который ровно так же работает и в ChatGPT 5.5. Обещают больше подробностей в течение 24 часов.

Хочется пошутить, что это такая PR-стратегия антропика перед IPO для поддержания хайпа, и что у них в очередной раз не хватает видеокарт, или что это наоборот, козни Сэма Альтмана против конкурента (тоже перед IPO), и что хайп про сверх-возможности в области в кибербезопасности имеет и обратные последствия, но вообще все это исключительно странно, даже для этой администрации. Похоже, кто-то в правительстве всерьез озабочен mythos/fable, ну или просто очередная дурь. 50:50.

🍿

Тем временем, Claude Code это оказывается уже для нормисов, а модные ребята пересели на более крутую open source упряжь openCode, которая поддерживает любые модели (а не только от anthropic). Ну и конечно есть безумно прокачанный форк от китайцев oh-my-opencode, который прямо сейчас запускают как отдельный сервис, Сизиф. Нейминг как у самолета Антея.

Узнал об этих инструментах из драмы, которая разворачивается прямо сейчас: формально, Anthropic разрешает пользоваться своими моделями с подпиской Pro и Max только внутри своего Claude Code. Пару часов назад, они начали блокировать запросы из openCode, после чего пользователи стали жаловаться, что Claude Code — это каменный век и отменять подписки. При этом модели Anthropic, по словам пользователей, лучше конкурентов. Моделями Anthropic можно пользоваться «по API» без скидок и ограничений, но если платить за каждый запрос — получаются совсем безумные цифры даже для модных вайбкодеров.

Вряд ли Anthropic стал бы бороться с чужими инструментами, будь они хуже родного. Получается, лучшая (и честная) рекомендация от ведущей лаборатории!

«Интересная» ситуация между американскими военными и Anthropic.

Они подписали контракт на поставку ИИ для нужд армии. Теперь военные требуют, чтобы им можно было не следовать стандартным правилам пользования сервисом (Usage Policy).

Anthropic согласен подвинуться, но хочет внести в договор пункты о том, что их искусственный интеллект нельзя использовать для массовой слежки за американцами и для автономных роботов убийц.

Министерство войны США (они недавно официально переименовались) в ответ грозится не только разорвать контракт, но еще и воспользоваться законом о военном производстве, который позволяет правительству заставлять коммерческие структуры выполнять заказы критичные для оборонки.

А ещё министр пугает эту американскую компанию тем, что её внесут в чёрный список правительства США (объявят supply chain risk, так обычно делали с китайскими компаниями), так что с ними не сможет работать ни один бизнес, который исполняет контракты для государства.

Вы наверняка слышали, что программисты теперь встанут перед таким же выбором, перед каким стояли физики при создании ядерной бомбы. Обычно об этом рассуждают философы, которые ничем не рискуют. А тут ведущая компания в области ИИ может не только потерять большой контракт, но вообще перестать существовать в привычном нам виде. И всё это практически в прямом эфире.

Дальнейшее чтение: позиция EFF (всё предсказуемо), бодрый разбор Astral Codex Ten, который я кратко пересказал выше, и подробный текст от Цви Моушовица.

Модели Anthropic начали вшивать в текст секретные водяные знаки.

Текст можно переписать огромным числом вариантов, просто меняя синонимы. Теперь, модели выбирают эти синонимы не случайно, и в последовательности этих не-случайностей зашит сигнал, что текст сгенерирован нейросетью.

Лингвистическую стеганографию (тайное письмо за счет замены синонимов) обсуждали ещё в начале 2000-х, но в 2022 ученый из OpenAI описал, как это можно недорого сделать в нейросетях.

Такая маркировка начинает работать примерно со 150 слов, и не работает, если у модели недостаточно свободы в выборе синонимов — при генерации кода или таблиц с цифрами. Водяной знак переживает незначительную редактуру текста, но не серьезный рерайт.

В 2024 такую маркировку вшил в свои модели Гугл под названием SynthID, а закон ЕС требует маркировать контент, сгенерированный нейросетями, начиная со 2 августа 2026. 190 компаний уже подписали с Евросоюзом договор, как именно они будут реализовывать эту маркировку.

Для детектирования маркировки нужно знать секретный ключ (если все знают ключ — то маркировку очень легко стереть или подделать). То есть для проверки нужно будет загрузить свой текст производителю модели.

Это, наверно, моя личная штука, но я всерьез задумался о том, чтобы переключиться с API на локальный инференс, когда он станет достаточно хорошим. Просто неприятно, что модели будут заниматься этой фигней за мои деньги, вместо полезной работы.

Подъехали подробности про блокировку fable 5.

Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.

Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.

Всё, это весь «взлом».

Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.

🍿🍿

Наблюдаем конец миропорядка в прямом эфире. Я потихоньку выхожу из из оцепенения, поделюсь новостями мира технологий.

✽

История Anthropic с американскими военными развивается предсказуемо: Минобороны разорвало контракты и формально объявило Антропик угрозой цепочкам поставок, компания обжалует это решение в суде. Эти же контракты, в этот же день, Пентагон заключил с главным конкурентом — OpenAI. Конечно же, Сэм Альтман вел переговоры задолго до, а президент OpenAI пожертвовал в предвыборный фонд Дональда Трампа 25 миллионов долларов. 10 Альтманов из 10.

Все заметили, что в последние недели Клод отупел и жрет токены как не в себя.

Ходили слухи, что это потому что у Антропика не хватает видеокарт.

Теперь они утверждают, что дело в ошибке в их обвязке Claude Code и что «они никогда не отупляют модели специально». Выпустили исправление и сбросили лимиты токенов в этом месяце. Подробное объяснение тут

Google DeepMind, вслед за Anthropic, нанял штатного философа (шутят, что это второй человек в мире с философским образованием, который зарабатывает основной профессией).

И вот вышла новость, что в начале года, глава Антропика Амодеи сходил на обед с «интеллектуальными представителями» правых в США и заявил там, что «Клод — самый этичный ИИ».

На что его спросили: «а какой этики придерживается ваш ИИ? Христианской? Аристотелевской? Ницшеанской?» Говорят, что Амодеи был удивлен вопросом и затруднился ответить.

Тот момент, когда ты используешь умные слова и внезапно находится человек, который знает их смысл и просит пояснить.

4 года назад я пошел учиться на экзистенциального психотерапевта и там половина курсов про философию. Могло показаться, что это было странное решение. А вот как карта пошла! :)

В истории про «замедление развития ИИ ради безопасности всего человечества» (две ведущие лаборатории просят национализировать себя и принять законы, контролирующие все разработки в этой сфере) есть важный контекст, который упускают массовые медиа, когда перепечатывают пресс-релизы.

Следующий логичный шаг для OpenAI и Anthropic, в логике успешного бизнеса и капитализма — первичное размещение акций на бирже, но для этого им придется раскрыть свою финансовую отчетность и показатели доходности, которой нет. Обе компании обещают трансформацию экономики и триллионы прибыли, но какая нафиг прибыль, если китайские open source модели: а) можно скачать бесплатно б) работают на гораздо более слабом железе в) наступают на пятки по качеству?

И время поджимает, потому что непонятно, как долго американские компании смогут сохранять лидерство в сравнении с китайцами, да и инвестиции в железо совершенно безумные, на сколько им ещё хватит денег инвесторов?

И вот теперь «это слишком опасная технология, которую нужно а) ограничить, чтобы не выросли новые конкуренты и б) оплачивать из бюджета, как Манхэттенский проект».

Вообще, последние публичные взломы систем моделями — это уголовные преступления, за которые должны отвечать их создатели , и что-то вроде section 230, который в свое время защитил интернет-компании от исков по контенту, размещенного на платформах, был бы очень кстати.

А ещё можно выступить бессребрениками, которые пекутся о человечестве!

Одни профиты, а риски в случае провала серьезные. Неудивительно, что PR-компания такая мощная. Как проверка: Google и Meta, которые зарабатывают на рекламе и в фин. схемы OpenAI не замешаны, в ней не участвуют.

P. S. Дарио Амадеи — мальчик из басни, который кричал: «Волки!». Первую свою публичную статью «это слишком мощная технология…» он приурочил к выходу GPT-2, так что тут интереснее реакция Альтмана, который уж точно в заботе о человечестве не замечен.