Мне для клиента нужно запустить мощную модель, с гарантией, что его данные никуда никому не утекут. Оказалось, что сделать это не так уж и просто.
Когда отправляешь запросы в API chatGPT или клода, то у них есть возможность включить так называемый ZDR, Zero Data Retention. То есть, они обещают не хранить запросы и контекст, который ты в них отправил. Но там есть «звездочка», что если если классификатор решает, что мы делаем что-то плохое, то тогда данные могут храниться до двух лет. Это вариант нам не подходит.
Мы прогнали все крупные модели на синтетических данных (то есть специально сгенерированных примерах) и из открытых китайских нам лучше всего подошла GLM-5.3. Чтобы запустить её полноценно на своем собственном железе, нужно 8 видеокарт H-200. Купить себе такое довольно трудно, но даже если вы их достанете, стоимость будет под полмиллиона долларов + 5 тысяч долларов в месяц на электричество.
Арендовать подобную тачку на сегодняшний день тоже непросто: у моих любимых Runpod они в теории есть, и стоят всего 30 долларов в час, но на практике всё занято. Из десятков облачных провайдеров, в наличии они есть только у одних индусов Lium.
Зато в OpenRouter’е нашлись несколько провайдеров (Fireworks и Venice), которые поддерживают настоящий ZDR, без всяких оговорок. Платишь за токены, получается даже выгоднее своего железа, пока объемы небольшие. А там уж думаю или ишак научится говорить, или падишах...
