Погуляли по берегу Темзы с техдиром Dwelly Димой Хануковым и он поделился отличным ИИ-сетапом: запускать две модели от ведущих лабораторий, OpenAI и Anthropic, в режиме конкуренции.
Управлять всем этим через третьего агента-оркестратора (у Димы это Hermes). То есть оркестратор дает задачу Codex’у и проверяет через Claude Code, или наоборот, пока они не договорятся.
У нейросетей от каждого производителя свои «слепые пятна», а так получается полное покрытие. Учитывая, что все это в родных харнесах по подписке — не слишком дорого. И как я сам не догадался?
Для финального код ревью Дима рекомендует qodo.
Ivanhoe w
Даже не могу представить задачу где это было бы нужно)
Samat Galimov
Ну когда хочешь сэкономить время людей
👍️
Kirill
А сам Гермес какую модель использует при этом?
👍️4
Ivanhoe w
Ну так никто не гарантирует, что модели не ошибутся. Тебе тогда придется проверять 3 модели, а не одну
👍️5💯️3😁️8
K L
Давно так делаю. Даже хотел написать тул, который «стачивает» разногласия в ноль через итерации и несколькими моделями
Samat Galimov
Вся идея в том, что они проверяют друг друга!
Ivanhoe w
llm as a judge тоже проверят другую llm, но для ее настройки нужно тратить время, чтобы начать ей верить
Леонардо Ди Каприо
а точно ли получается? чем, кто и как это измеряет, какая метрика? по моему опыту получается каша
💯️15
K L
По моему нет.
🤔️
Alexander Heinrichs
Прям вот этот мем при описании сетапа вспомнился)
💯️18😁️45
Victor Krot
да, также работаю, только без оркестра. А говорю, чтобы привлекали друг друга как независимого эксперта.
💯️
Бескромный
ну вообще это как будто бы база!
у меня в Hermes давно расписаны инструкции с логикой стека разных моделей под разные задачи и перепроверки их друг другом
очень круто работает, 10+ фронтирных моделей пыжатся в самых разных комбинациях
Artem Borzilov
всегда так делаю, правда без оркестратора. пробовал автоматизировать но отказался так как раз этот этап с кросс-ревью часто выглядит хорошим моментом чтобы тоже вникнуть че там происходит, поглядеть на спорные места и вставить свое мясное мнение. до этого опус-оркестратор автоматом запрашивает и адресует опусовое же ревью
Леонардо Ди Каприо
какого рода задачи?
Andrei Kopysov
А хермес на чьем движке? Кодекс?
Vladimir Kharitonov
У меня, конечно, не код, а текст, но тоже переводит одна, а редактирует другая
Andrei Rebrov
@samatg и вот тут на помощь приходит herdr который классно справляется с управлением флотом агентов и харнессов независимо от модели
💯️
V P
в итоге все это занимает в два раза больше времени, в два раза больше токенов а результат +- такой же как и пара итераций с опусом 5.5
❤️2💯️
17
Да, тут род задач важен, а главное остальной харнесс: как это организовано, ограничено и так далее...
K L
Проверь что код соответствует требованиям. Security audit etc
Andrei Rebrov
да но нет) всегда кросс-модельное ревью находит друг у друга баги. кроме того есть роутинг по типу задачи на более эффективную через тот же jev
17
Звучит интересно, может есть готовая ссылка в закромах?)
Andrei Rebrov
я вот тут шарю свой подход https://github.com/andrebrov/drover, ребята из herdr вот такое еще советуют https://github.com/vitalysim/herdr-synapse
я все чаще вижу, что многие подобные репо (сам так делаю) кормят своему лид агенту а дальше уже напильником под свой процесс точится
🙏️🤝️
Vlad Pugach
идея про кросс ревью уже довольно стара, вот например моя уже как 8 мес заброшеная репа, куда я зашарил ещё в начале января колегам свой воркфлоу, с тем самым кросс-ревью кодекса и клода, и на етапе планирования и на етапе код ревью. https://github.com/q2012Second/setup
Но конечно, брать оттуда идеи уже чуть устарело, но таких сетапов действительно море
Damir Paimukhin
Блин, Самат, ну странно такое слышать от вас про то что не знали о перекрестном использовании агентов. Вроде бы вы ИИ взяли на вооружение в компании своей и даже предлагаете внедрить его в компаниях.
А слепые пятна они на пару не устранят полностью, но должны уменьшить их количество.
Арсений ∞ Саррян-Армянский
Вопрос из больнички: вы создаёте перцептивную, самосовершенствующуюся личность сотрудника, рефлексирующую над своими успехами и неудачами по KPI, или считаете первичный поток модели её базовой личностью?
🤝️🤯️
Vitály Magyari
Чтобы платить $400 в месяц за ИИ, а не $200
👍️
Вот мы и пришли к идее кворума... 😁
17
Кросс-ревью да, давно слышу.
Конкретно этт мой вопрос-то о другом :-) про роутинг задач через jev. Ответ на него я получил.
А ещё загуглил произношение jev на всякий, а то читаю его как jew)
Vlad Pugach
А, тогда да, тоже к себе хочу подключить jev, но думал опенсорсный захостить у себя, но пока не углублялся, так что тоже пока присматриваюсь к вариантам
Vitály Magyari
Второе - это проприетарная версия... Простите :))
17
Интересно, а можно вместо этого в рамках одного вендора тупо разные модели гонять? Opus 5.5 отличный, может Фейбл хоть на что-то сгодится.:-)
Раз такая пьянка, и стикер в тему, надо только обыграть что всё наоборот with Jev )))
Сделать его кавайным дольфлундгреном, например
Vitály Magyari
Думаю, не сработает, слепые пятна в фундаментальной модели внутри одного вендора скорее всего одинаковые. Но можно например сравнить, справляется ли лучше одна фронтирная модель лучше чем две модели попроще от двух вендоров, тогда возможно у обоих тир подписки понизить без потери качества, например
17
...и даже с минорными апдейтами их переоценивать расклады. Вероятно, другими моделями, не вручную же, не правда ли?
"Ехал харнес через харнес"
Vitály Magyari
Колл ми олдскул, я бы посравнивал глазами в течение что-нибудь месяца. Другой вопрос что за этот месяц ещё моделей выкатят и всё опять поменяется 🤷
Согласен, тест свит с типовыми задачами и понятными результатами, который можно прогонять на любой новой конфигурации
17
да я тоже олдскул, но теперь сравнивать глазами надо некоторое чёто, какие-то результирующие артефакты более высокого уровня
остаётся только по какой-то методологии их генерить и обновлять, блин)
Бежать, чтобы оставаться на месте 😳 к такому меня боженька не готовил.
Delisted Account
Простите, что врываюсь в ваш сон, но
https://github.com/amyodov/yet-another-agentic-chat
Slava Haikin
Примерно везде это генерит гораздо более надёжное решение. А когда модели были тупыми и вовсе необходимо было.
Kirill Zagoskin
Умпутун так год уже работает
🔥️
D St
в комментариях переписка агентов между собой 😁
😁️2
Роман Соколов
У меня давно есть скилл специальный. Одна модель делает, а ревью запрашивает у другой. И дорабатывает пока обе не будут довольны.
🔥️
eL1Fe
Так а под Гермесом то кто сидит?)
Denis
тут два варианта: по очереди ходы или болтают в процессе, второе прикольно
Александр Кунташов
Есть такой тул — bb (getbb.app), это суперхарнесс, он запускает разных агентов разных провайдеров и в нем гениальная штука: он даёт агентам разных провайдеров возможность самим создавать чаты и общаться между собой при решении задачи, это реально удобно (не надо быть мясным прокси хотя бы, перекидывая сообщения между ними).
А зачем такое надо: ревью другой моделью как минимум находит другие баги.
Можно моделировать разные оргсхемы/мультиагентные процессы просто на уровне промпта, не разрабатывая каких то воркфлоу и тп.
Те это как субагенты, но не ограниченные рамками одного провайдера. Кто еще не видел, как минимум рекомендую попробовать.
bb также реализует идею софта, изменяющего сам себя: можно попросить в чате добавить в него же какую то фичу и он сделает и без перезагрузки запустит.
❤️2
Ivan Onushkin
В copilot это тоже реализовано. Команда /review
Dmitry Khanukov
Там зависит от задачи, сейчас больше где GPT-6.1-SOL, но может сидеть и на Gemeni, и на GLM. А вот Claude и Codex всегда на как можно лучшей модели
Mikko Vedru 🇫🇮
Можно. Результат получается даже если гонять две одинаковые модели.
Но, конечно, разные топовые модели от разных производителей - лучший вариант.
В разработке можно ресурсы беречь, дизайн и оркестрирование отдать Astra, и наказать чтобы саму работу делал/и субагент/ы Sol. Результат если и хуже, то назначительно, а цена значительно меньше.
💯️🤝️
17
Вот я критериями довольности двумя каментами выше как раз интересовался)
Оформлены ли они, если ВДРУГ да, то ВДРУГ и метрики какие-то есть на этот счёт.
Конкретизирую проблему, о которой говорю, чётче:
В коде, возраст которого превышает, скажем, хотя бы 3 года, уже довольно легко провалиться в нахождение незначимых старых багов, оптимизаций каких-то
В долгую ИИ-валидацию их severity и цены исправлений, в конце концов по части найденного - и глазами, приоритетизацию...
Потом ревьюить результат этого всего тоже глазами хотя бы частично, по уму-то :-)
Роман Соколов
У меня есть отдельный скилл для ревью, в котором четко прописано, что оценивать нужно только код, имеющий прямое отношение к задаче. Остальные баги фиксируются, но не исправляются — на них заводятся отдельные задачи. Ну и в целом там прописаны критерии проверки. Что нужно искать расхождение реализации с исходными требованиями, дублирование кода, edge cases и прочее, прочее, прочее. Найденные находки делятся на категории: критичные, высокие, средние, незначительные. Критичные, высокие и средние обязательны к закрытию.
🔥️
Artem
Это все равно, что позвать электрика сделать разводку и второго чтобы проверил. В итоге сам, не веря никому, зовешь третьего. И так по кругу с ума сойти можно
Dmitriy Vladimirov
о, у меня сейчас именно такая ситуация
одни электрики сделали электрику, вторые подключили генератор через АВР, в итоге выбивает УЗО, кивают друг на друга
мо-лод-цы