Замечательный скилл (инструкция для LLM) для экономии токенов, Caveman. Нейросеть начинает отвечать как пещерный человек. Мне это напоминает стиль общения нелюдимых инженеров из восточной европы.
Учитывая, что программирование мы заменяем на бесконечным общением с нейросетью, экономия текста сильно экономит время и нагрузку на мозг. Рекомендую!
Пример пересказа этого поста в самом его сжатом стиле ultra:
Caveman скилл — LLM говорит как пещерный. Токены экономь. Стиль = угрюмый инженер восточной европы. Чат с нейронкой бесконечный, меньше текст = меньше мозг устал. Бери.
В английском эффект ярче!
Andrey
https://chatgpt.com/g/g-DCibUiOmB
Eugene | Chainstack
+ https://github.com/rtk-ai/rtk для экономии input токенов
👍️8
Max Syabro
ну и свой тогда притащу)
https://github.com/syabro/snitchmd
Сделал враппер для докера чтобы одной командой обходить клаудфлер, рендерить страницу (включая жс приколы) и экстрактить мд
👍️4🔥️12
Gennady Lebedev
разумно
гуглежь когда-то тоже быстро ушел от полновесных вопросов на английском к «список из 5 кейвордов + вопрос на 2 слова»
Андрей
Экономия процентов 20 в общем
Разбирали этого caveman в радио-т , вердикт - такое, не рекомендуется
❤️2👍️7💯️2
Илья Кошарский
в девелоперском русскоязычном чате ещё видел совет для экономии токенов не писать по-русски (перевод инпут токены жрёт как не в себя, работают внутри нейронки один фиг на английском) или встроить отдельный переводчик (локальный или хотя бы не жрущий токены) в пайплайн запроса
👎️3💯️8
Nikita Ashikhmin
Почему?
Андрей
Не понятно с ним общаться - разговаривает как гопник
👍️2😁️3
Илья Кошарский
требует пояснить за стек?
😁️13
AI да парень! / Sergei Notevskii
Ну и я свой притащу - токены не экономит, зато найдет почему префикс кэш хитрейт низкий https://github.com/sernote/audit-prompt-caching, те экономит сразу деньги/скорость
👍️
Anton
большинство токенов все равно тратится на входящие и на размышления. А с этим caveman иногда хрен поймешь что он имел ввиду. приходится переспрашивать, лишний запрос в переписке = отправка токенов истории в контекст, и по итогу выгода сомнительная
👍️14🤔️
Gennady Lebedev
а в чем сложность-то?
гопники обычно очень просты для понимания, единственное с чем сложно - это когда ты в его физической достижимости
тем более этот гопарь точно поймет термины и специфику, он ведь буквально только в ответе их использовать не будет
😁️2
Плюшка из дракона
Я не эксперт, но мне кажется, что перевод здесь -- неудачное описание;
Русские символы банально реже встречаются в корпусе, поэтому (условный) BPE и слабее смержил их в токены относительно английского (еще и с его паттернами); модель внутри все-таки работает не на английском, а на внутреннем скрытом семантическом представлении, просто через английский подходящую точку в нём получить "дешевле"
В любом случае совет дельный!
❤️👍️6💯️
Dmitry Voskresensky
Ожидание: читать подробные ответы ллм чтобы прокачивать свой английский и не выглядеть пещерным человеком среди нейтивов
Реальность: нейтивы ставят скилл пещерного человека и доводят уровень своего английского до твоего
😁️27
Илья Кошарский
ну мы и с моделью напрямую не общаемся, я не специалист, но могу предположить, что там в любом случае на входе слой, который (возможно, той же моделью) переводит на английский и уже потом передаёт для рассмотрения по существу
👎️
Плюшка из дракона
с высоты моей колокольни, это несколько неразумная архитектура, потому что это тяжелее учить end-to-end, это очень плохо скейлится на весь корпус, так еще и задача перевода сама по себе достаточно сложная, и мы добавляем этап глухого телефона с неприятным отношением шум/сигнал без особой ценности; в общем, я не очень верю, что в проде сейчас такое есть
💯️
Ваня
А нет смысла и для человека это использовать?)
Dmitry Valetin
Нет. Это не так. Модель понимает нативный язык. Разные модели тренируются на разных токенизаторах. От этого зависит количество токенов на токенизацию входного запроса, цепочек размышлений и ответа. Рекомендую посмотреть 3-х часовое видео Андрея Карпаты чтобы понять как работают LLM.
👍️10
bama^boy
Кто-то проверял, влияет ли caveman на качество результата?
Ваня
Главное, чтоб он синтаксис кода также не ужимал
😁️3
Dmitry Voskresensky
На сколько я знаю, отдельно перевода там нет. Значения из обучающей выборки близкие по смыслу (т.е. по количеству и порядку связей с другими элементами) оказываются близко и в векторном представлении, поэтому, можно сказать, что модель сразу думает на том языке, на котором собирается отвечать, т.е. на котором задан вопрос.
При этом ей доступен и полный корпус на других языках, т.е. это не значит, что она будет брать только те знания, которые есть на нужном языке, она будет использовать все близкие по "смыслу" значения.
Поэтому способность перевода (причем весьма неплохого) оказалась эмерджентным (т.е. таким, которым не закладывали и специально не тренировали) свойством ллм моделей
👍️5
А то все языки превратятся в SQL
blank
Да даже автор на гитхабе писал что это не работает и скорее шутка xD
Но все пошли ставить в надежде спасти токены :/
Технически тратя еще больше на вызов самого скила в контекст
👍️4
Ваня
С одной стороны так, с другой стороны, по моему опыту, задавая бытовые вопросы на разных языках, можешь получить разные ответы / разные тональности ответов
Мне вообще не так интересно, правда ли оно полезно, просто поставлю, чтобы угареть
Eugene | Chainstack
Как будто нет — зачем сжимать command output для людей?
Ваня
Ну некоторые команды бывают слишком многословными по дефолту, пока не натыкаешь им флагов (а на это обычно забиваешь)
Ну и смысл тот же — экономить мои мозговые токены, чтобы не выйти за лимит)
Eugene | Chainstack
Попробуй и расскажи про свой опыт 🙂
🤡️
Ilya 🥷
посмотрите современные модели от openAI
там разница почти не ощущается по кол-ву токенов которые тратятся на инпут
я раньше тоже думал что разница существенная
https://t.me/ivanchikovitclub/159
Артемий Дановский
и вернулся обратно к вопросам на естественном языке, потому что в этом случае нормально отрабатывает их ИИ-поиск
Gennady Lebedev
зависит от цели, имхо если речь не про поддержку саппорта и прочие «рассчитанные на средний по популяции уровень» или хотя бы «средний по индустрии» - обычный вопрос хуже суржика из кейвордов и угроз)
скорее на полу-структурированный ввод уйдет, регулярно таблицами и спрашиваю и ответ прошу
сам не пробовал, но умельцы что-то sql-подобное уже вкручивают - вот в таком виде ожидаю что оно останется
Артемий Дановский
конечно, зависит от цели и от личного опыта
Д
Заменяем на - на лишнее тут. Удоли)
hlomzik
Где именно? Там наоборот бенчи, ссылки на исследования и цифры. Если и шутка, то она зашла слишком далеко)
😁️
Артур -
106 пулл реквестов. конечно, далеко
blank
https://github.com/JuliusBrussee/caveman/discussions/7
🧠 Does brevity hurt reasoning?
This was the biggest debate on HN. The short answer: caveman only affects output tokens, not thinking tokens. Claude still reasons fully before compressing the visible response.
https://www.linkedin.com/posts/julius-brussee_github-juliusbrusseecaveman-why-use-activity-7446986479597350914-Jstz/
I built a joke in an afternoon. 48 hours later, it has 3,700 GitHub stars.
Here's what happened.
В этоху ии можно делать какие угодно исследования с каким угодно результатом и почти бесплатно )
Yevhen Kralych
если бы гугл аи отвечал так, как ты даешь ему запросы в поисковой строке
Nikian
ну это уже кринж когда в общении с тобой переходят на символы = < >
Кристи Максимова
Когда я начала использовать Caveman, я заметила, что экономлю около часа каждый день на общении с нейросетью. Мозг меньше устаёт
👍️2
hlomzik
И прям в следующем абзаце ссылка на пейпер "that found brevity constraints actually improved accuracy by 26 percentage points on certain benchmarks"
🤡️
blank
ага, а о чем это говорит?
🤡️
hlomzik
Caveman good. Sometimes.
🗿️2
Андрей
Я сам не пробовал, за что купил за то и продаю
Arkhipov Igor
а антропики не докапывались до неё? что там значительно меняется вывод утилит
Кирилл Наумов
До жути понравилась книга Генри Форда "Время - деньги". Она о том, как правильно относиться и к времени, и к деньгам, не пахать с утра до ночи, а мыслить стратегически, ценить ресурсы и фокусироваться на главном. Есть и в аудио, могу переслать, пишите в личные сообщения, я сам и читал, и слушал
🤡️
Ruslan
Я тоже своим поделюсь, вчера сделал.
Плагин для OpenCode, который по ходу работы автоматически роутит сложные задачи на большие модели, простые на малые, экономит кучу денег на API.
https://github.com/RuslanKoroy/oc-router
По всем вопросам обращайтесь в ЛС)
Vitály Magyari
Кто-то уже пошутил (кажется, Awesome), что следующий шаг это color: blue;
Ваня
Боже, Самат, где ты был, родной. Это лучший скилл, который я встречал. Это ровно то, что я пытался сделать своим AGENT.md, где писал: не хвали, не балаболь, давай по фактам, прикинься slavic engineer.
Такое прям ощущение чистоты теперь от общения с ним
🙏️
M E
🗿
Tamara Persikova
Нормально он разговаривает. На lite тем более
MARAT 👓
этот скилл шутка
все тесты в ридме фейк
Алекс Яницкий
be briefдает тот же эффект https://www.maxtaylor.me/articles/i-benchmarked-caveman-against-two-words👍️
Brain4Qs
Больше похоже на культурную диверсию на восточную Европу, отбросить поверивших в пещерный век… ну если мозгов не хватает изучить как работает gpt и как делать харнесс
Ваня
Неделю сижу на Caveman, полёт отличный. Мне абсолютно всё равно, экономит ли он токены клода, но он абсолютно точно экономит токены моей бошки + наконец ведёт себя как нормальный, безо всяких этих восторгов и подлизываний, всё четко и по делу, как будто со slavic engineer общаешься.
Поставил ему lite mode, потому что даже в обычном режиме он слишком уж уплотняет смысл, что порой становится трудно понимать о чём речь. Но даже в lite он более чем достаточно ужимает ответы.
Особенно радует, что наконец-то он стал нормально оформлять PRы, не на 3 листа А4 при изменениях на 100 строк кода.
🙏️