Вот ещё прикольное сравнение, где модели, переходя по ссылкам в статьях, должны найти путь от одной страницы в википедии до другой (от бейсбола до солнца, например)
Конкурсы могут показаться смешными, но вообще выбрать один из нескольких вариантов — это то, на чём строится практически всё программирование. И до сих пор у нас был выбор либо жёсткие алгоритмы, либо тормозные, дорогие и галлюцинирующие LLM, которые для такого вида задач предрасположены плохо.
Круто, что есть люди, которые придумывают новые подходы, а не только масштабируют инвестиции и дата-центры. ⚡️
Вот тут мнение внешнего эксперта.
AI Superior
круто антропик справится лучше всех и автоматизирует
Илья Кошарский
а как же классика, почему не к Гитлеру ищут?
😁️8🤣️
Kirill Zagoskin
Вздерет с вас х10, а через 2 недели оно будет стоить в 20 раз дешевле в дипсик и работать на том же уровне
Ilya Mois
Сама идея выдавать распределение вероятностей вообще не новая, для ML это база. Классификаторы делают это по классам, LLM - по всему словарю на каждом следующем токене. BERT тоже давно дообучали под задачи, где нужно выбрать один из заданных вариантов
А вот попытка сделать из такого классификатора foundation-модель действительно интересная. Дать ей произвольный контекст и произвольный набор вариантов и сразу получить распределение, без дополнительного обучения под конкретную задачу
Кажется, новизна здесь именно в этом, а не в появлении какого-то нового класса моделей
👍️2
Silver Kettle
Я так понял галлюцинирования нет, потому что сам ответ может быть галлюцинированием и произвольным. Т.е. это буквально прокаченный калькулятор, но совершенно не подходит, например, для визуала?
👎️
Samat Galimov
Галлюцинаций нет, потому что ты заранее говоришь, какие варианты ответов допустимы, и у него технически нет возможности ответить что либо кроме распределения вероятностей
Скорость и стоимость поразительные, какие-то новости в архитектуре наверняка есть
Silver Kettle
Все. Теперь понял
Ilya Mois
Ну скорость связана с тем, что генерируется фактически один токен (на сколько могу судить) если переводить на язык трансформеров
И тот же BERT работает по тому же принципу, поэтому про него упомянул
🤔️
Samat Galimov
BERT мне кажется не умеет отвечать на производные вопросы на натуральном языке, как в примере с Википедией
Ваня
Очень интересно, но пока совершенно непонятно, как выглядит практическое применение
Samat Galimov
В if-в вставляешь
👍️
Anton
Reranking модель здорового человека получилась.
Более ранние версии например тут https://huggingface.co/Qwen/Qwen3-Reranker-8B
K L
Сами вероятности не могут быть галлюцинацией из-за архитектуры?
Ilya Mois
Так, как я понял, Jev тоже не отвечает на натуральном языке, а лишь выбирает из представленных вариантов
В Википедии как раз такой вариант, есть страница и варианты ссылок, нужно выбрать конкретную.
На вход идёт натуральный язык, а на выход фактически порядковый номер варианта
Галлюцинаций быть не может, но могут быть не правильные ответы. Например если скажут «выбери жёлтый фрукт», а среди вариантов будут яблоко, банан и апельсин, а она выберет яблоко
Она физически не может выбрать то, чего нет в вариантах ответа. А такое назвать галлюцинацией язык не поворачивается
👍️