Погуляли по берегу Темзы с техдиром Dwelly Димой Хануковым и он поделился отличным ИИ-сетапом: запускать две модели от ведущих лабораторий, OpenAI и Anthropic, в режиме конкуренции.
Управлять всем этим через третьего агента-оркестратора (у Димы это Hermes). То есть оркестратор дает задачу Codex’у и проверяет через Claude Code, или наоборот, пока они не договорятся.
У нейросетей от каждого производителя свои «слепые пятна», а так получается полное покрытие. Учитывая, что все это в родных харнесах по подписке — не слишком дорого. И как я сам не догадался?
Для финального код ревью Дима рекомендует qodo.
Ivanhoe w
Даже не могу представить задачу где это было бы нужно)
Samat Galimov
Ну когда хочешь сэкономить время людей
👍️
Kirill
А сам Гермес какую модель использует при этом?
👍️3
Ivanhoe w
Ну так никто не гарантирует, что модели не ошибутся. Тебе тогда придется проверять 3 модели, а не одну
👍️4💯️3😁️7
K L
Давно так делаю. Даже хотел написать тул, который «стачивает» разногласия в ноль через итерации и несколькими моделями
Samat Galimov
Вся идея в том, что они проверяют друг друга!
Ivanhoe w
llm as a judge тоже проверят другую llm, но для ее настройки нужно тратить время, чтобы начать ей верить
Леонардо Ди Каприо
а точно ли получается? чем, кто и как это измеряет, какая метрика? по моему опыту получается каша
💯️13
K L
По моему нет.
🤔️
Alexander Heinrichs
Прям вот этот мем при описании сетапа вспомнился)
💯️16😁️40
Victor Krot
да, также работаю, только без оркестра. А говорю, чтобы привлекали друг друга как независимого эксперта.
💯️
Бескромный
ну вообще это как будто бы база!
у меня в Hermes давно расписаны инструкции с логикой стека разных моделей под разные задачи и перепроверки их друг другом
очень круто работает, 10+ фронтирных моделей пыжатся в самых разных комбинациях
Artem Borzilov
всегда так делаю, правда без оркестратора. пробовал автоматизировать но отказался так как раз этот этап с кросс-ревью часто выглядит хорошим моментом чтобы тоже вникнуть че там происходит, поглядеть на спорные места и вставить свое мясное мнение. до этого опус-оркестратор автоматом запрашивает и адресует опусовое же ревью
Леонардо Ди Каприо
какого рода задачи?
Andrei Kopysov
А хермес на чьем движке? Кодекс?
Vladimir Kharitonov
У меня, конечно, не код, а текст, но тоже переводит одна, а редактирует другая
Andrei Rebrov
@samatg и вот тут на помощь приходит herdr который классно справляется с управлением флотом агентов и харнессов независимо от модели
💯️
V P
в итоге все это занимает в два раза больше времени, в два раза больше токенов а результат +- такой же как и пара итераций с опусом 5.5
❤️2
17
Да, тут род задач важен, а главное остальной харнесс: как это организовано, ограничено и так далее...
K L
Проверь что код соответствует требованиям. Security audit etc
Andrei Rebrov
да но нет) всегда кросс-модельное ревью находит друг у друга баги. кроме того есть роутинг по типу задачи на более эффективную через тот же jev
17
Звучит интересно, может есть готовая ссылка в закромах?)
Andrei Rebrov
я вот тут шарю свой подход https://github.com/andrebrov/drover, ребята из herdr вот такое еще советуют https://github.com/vitalysim/herdr-synapse
я все чаще вижу, что многие подобные репо (сам так делаю) кормят своему лид агенту а дальше уже напильником под свой процесс точится
🙏️🤝️
Vlad Pugach
идея про кросс ревью уже довольно стара, вот например моя уже как 8 мес заброшеная репа, куда я зашарил ещё в начале января колегам свой воркфлоу, с тем самым кросс-ревью кодекса и клода, и на етапе планирования и на етапе код ревью. https://github.com/q2012Second/setup
Но конечно, брать оттуда идеи уже чуть устарело, но таких сетапов действительно море
Дмитрий Орлов · маркетинг, который продаёт
Вот роутинг по типу задачи выглядит полезнее самой дуэли. Если каждый агент гоняет весь проект, токены улетают быстрее, чем баги.
Damir Paimukhin
Блин, Самат, ну странно такое слышать от вас про то что не знали о перекрестном использовании агентов. Вроде бы вы ИИ взяли на вооружение в компании своей и даже предлагаете внедрить его в компаниях.
А слепые пятна они на пару не устранят полностью, но должны уменьшить их количество.
Арсений ∞ Саррян-Армянский
Вопрос из больнички: вы создаёте перцептивную, самосовершенствующуюся личность сотрудника, рефлексирующую над своими успехами и неудачами по KPI, или считаете первичный поток модели её базовой личностью?
🤝️🤯️
Vitály Magyari
Чтобы платить $400 в месяц за ИИ, а не $200
Вот мы и пришли к идее кворума... 😁
17
Кросс-ревью да, давно слышу.
Конкретно этт мой вопрос-то о другом :-) про роутинг задач через jev. Ответ на него я получил.
А ещё загуглил произношение jev на всякий, а то читаю его как jew)
Vlad Pugach
А, тогда да, тоже к себе хочу подключить jev, но думал опенсорсный захостить у себя, но пока не углублялся, так что тоже пока присматриваюсь к вариантам
Vitály Magyari
Второе - это проприетарная версия... Простите :))
17
Интересно, а можно вместо этого в рамках одного вендора тупо разные модели гонять? Opus 5.5 отличный, может Фейбл хоть на что-то сгодится.:-)
Раз такая пьянка, и стикер в тему, надо только обыграть что всё наоборот with Jev )))
Сделать его кавайным дольфлундгреном, например
Vitály Magyari
Думаю, не сработает, слепые пятна в фундаментальной модели внутри одного вендора скорее всего одинаковые. Но можно например сравнить, справляется ли лучше одна фронтирная модель лучше чем две модели попроще от двух вендоров, тогда возможно у обоих тир подписки понизить без потери качества, например
17
...и даже с минорными апдейтами их переоценивать расклады. Вероятно, другими моделями, не вручную же, не правда ли?
"Ехал харнес через харнес"
Vitály Magyari
Колл ми олдскул, я бы посравнивал глазами в течение что-нибудь месяца. Другой вопрос что за этот месяц ещё моделей выкатят и всё опять поменяется 🤷
Дмитрий Орлов · маркетинг, который продаёт
Вот именно, ручное сравнение за месяц быстро превращается в археологию. Нужен небольшой набор задач и лог результатов, чтобы после каждого апдейта прогонять заново. Иначе уже не вспомнишь, где модель стала лучше, а где просто повезло.
🤝️
Vitály Magyari
Согласен, тест свит с типовыми задачами и понятными результатами, который можно прогонять на любой новой конфигурации
17
да я тоже олдскул, но теперь сравнивать глазами надо некоторое чёто, какие-то результирующие артефакты более высокого уровня
остаётся только по какой-то методологии их генерить и обновлять, блин)
Бежать, чтобы оставаться на месте 😳 к такому меня боженька не готовил.
Delisted Account
Простите, что врываюсь в ваш сон, но
https://github.com/amyodov/yet-another-agentic-chat
Дмитрий Орлов · маркетинг, который продаёт
Я бы ещё фиксировал итог, стоимость и время. Иначе одна модель внезапно «победила», просто сожгла втрое больше токенов.
Slava Haikin
Примерно везде это генерит гораздо более надёжное решение. А когда модели были тупыми и вовсе необходимо было.
Kirill Zagoskin
Умпутун так год уже работает
🔥️
Дмитрий Орлов · маркетинг, который продаёт
Да, и тесты лучше держать отдельно от промптов. Тогда видно, где конфигурация реально вытянула задачу, а где просто повезло с формулировкой.
D St
в комментариях переписка агентов между собой 😁
😁️
Роман Соколов
У меня давно есть скилл специальный. Одна модель делает, а ревью запрашивает у другой. И дорабатывает пока обе не будут довольны.
🔥️
eL1Fe
Так а под Гермесом то кто сидит?)
Denis
тут два варианта: по очереди ходы или болтают в процессе, второе прикольно
Александр Кунташов
Есть такой тул — bb (getbb.app), это суперхарнесс, он запускает разных агентов разных провайдеров и в нем гениальная штука: он даёт агентам разных провайдеров возможность самим создавать чаты и общаться между собой при решении задачи, это реально удобно (не надо быть мясным прокси хотя бы, перекидывая сообщения между ними).
А зачем такое надо: ревью другой моделью как минимум находит другие баги.
Можно моделировать разные оргсхемы/мультиагентные процессы просто на уровне промпта, не разрабатывая каких то воркфлоу и тп.
Те это как субагенты, но не ограниченные рамками одного провайдера. Кто еще не видел, как минимум рекомендую попробовать.
bb также реализует идею софта, изменяющего сам себя: можно попросить в чате добавить в него же какую то фичу и он сделает и без перезагрузки запустит.
❤️2
Ivan Onushkin
В copilot это тоже реализовано. Команда /review
Dmitry Khanukov
Там зависит от задачи, сейчас больше где GPT-6.1-SOL, но может сидеть и на Gemeni, и на GLM. А вот Claude и Codex всегда на как можно лучшей модели
Mikko Vedru 🇫🇮
Можно. Результат получается даже если гонять две одинаковые модели.
Но, конечно, разные топовые модели от разных производителей - лучший вариант.
В разработке можно ресурсы беречь, дизайн и оркестрирование отдать Astra, и наказать чтобы саму работу делал/и субагент/ы Sol. Результат если и хуже, то назначительно, а цена значительно меньше.
💯️🤝️
17
Вот я критериями довольности двумя каментами выше как раз интересовался)
Оформлены ли они, если ВДРУГ да, то ВДРУГ и метрики какие-то есть на этот счёт.
Конкретизирую проблему, о которой говорю, чётче:
В коде, возраст которого превышает, скажем, хотя бы 3 года, уже довольно легко провалиться в нахождение незначимых старых багов, оптимизаций каких-то
В долгую ИИ-валидацию их severity и цены исправлений, в конце концов по части найденного - и глазами, приоритетизацию...
Потом ревьюить результат этого всего тоже глазами хотя бы частично, по уму-то :-)
Роман Соколов
У меня есть отдельный скилл для ревью, в котором четко прописано, что оценивать нужно только код, имеющий прямое отношение к задаче. Остальные баги фиксируются, но не исправляются — на них заводятся отдельные задачи. Ну и в целом там прописаны критерии проверки. Что нужно искать расхождение реализации с исходными требованиями, дублирование кода, edge cases и прочее, прочее, прочее. Найденные находки делятся на категории: критичные, высокие, средние, незначительные. Критичные, высокие и средние обязательны к закрытию.
🔥️
Artem
Это все равно, что позвать электрика сделать разводку и второго чтобы проверил. В итоге сам, не веря никому, зовешь третьего. И так по кругу с ума сойти можно
Dmitriy Vladimirov
о, у меня сейчас именно такая ситуация
одни электрики сделали электрику, вторые подключили генератор через АВР, в итоге выбивает УЗО, кивают друг на друга
мо-лод-цы