О, новые типы моделей, наконец-то!
Один из ранних разработчиков ChatGPT представил модель, которая на вопрос с заданными вариантами ответов, возвращает набор вероятностей.
Если обычные языковые модели пишут текст в ответ на открытые вопросы, то эта супер быстро и качественно выбирает правильные ответы из multiple choice (выбери один правильный).
Обычные большие языковые модели (LLM) предсказывают токены (слова) последовательно, а тут ты получаешь все распределение сразу.
И работает она супер быстро, за сотни миллисекунд. В демо, модель играет в Doom, отвечая на вопрос «какую из клавиш на клавиатуре нажать?» 10 раз в секунду.
Стоит она при этом как копье, в примере с Doom — 7$ в час (при 10 запросах в секунду)! Пока только API доступ, по инвайтам, заявки оставлять по ссылке.
Очень хорошее описание с интерактивными примерами и видео, образцовый технический анонс, короткий и емкий, рекомендую прочитать первоисточник.
(да, это просто очень качественный, дешевый и быстрый классификатор не требующий дообучения)

