локальные модели

Встречайте виндоус-версию нашей программы для автоматической записи и расшифровки звонков!

Работает с любыми звонками: zoom, google meet, телеграм, вацап...

Запускает и останавливает запись автоматически.

Расшифровывает встречи, определяет говорящих, так что реплики разложены по людям, а не слиты в один поток.

Пишет качественные выжимки встреч. Многие программы экономят на токенах, а эта использует самую мощную модель, чтобы ничего не потерять.

Умеет делать всё это локально, без доступа к интернету.

Можно подключить мощные платные модели, умеет использовать подписки (!) и API ключи.

Все данные хранятся локально на компьютере. Одна встреча — одна папка, внутри аудиофайл, расшифровка, выжимка. Очень удобно натравить нейросети.

Программа полностью бесплатная, с открытым исходным кодом. Легкая установка, файл сертифицирован Microsoft. Ура!

❧

Claude оказалась довольно бесполезна для разработки и тестирования виндоус-софта из-за супер ограниченной песочницы.

Codex с computer use работает идеально. Весь процесс миграции занял неделю. Из них 3 дня я доказывал Microsoft, что достоин их сертификата разработчика и без computer use я бы точно сдался; потом потратил примерно 70% недельных лимитов 100 долларовой подписки на миграцию, тестирование и доводку напильником.

На фото — ноутбук под Windows, на котором я тестировал эту программу :)

Скачивайте тут!

Сделал бесплатную программку для автоматической записи и расшифровки онлайн-встреч.

Работает с любыми звонками: zoom, google meet, телеграм, вацап...

Запускает и останавливает запись автоматически.

Расшифровывает встречи, определяет говорящих, так что реплики разложены по людям, а не слиты в один поток.

Пишет качественные выжимки встреч. Многие программы экономят на токенах, а эта использует самую мощную модель, чтобы ничего не потерять.

Умеет делать всё это локально, без доступа к интернету.

Можно подключить мощные платные модели, умеет использовать подписки (!) и API ключи.

Все данные хранятся локально на компьютере. Одна встреча — одна папка, внутри аудиофайл, расшифровка, выжимка. Очень удобно натравить нейросети.

Программа полностью бесплатная, с открытым исходным кодом. Легкая установка, нотаризованный Apple бинарник.

Работает на macOS; если вы заинтересованы в Windows-версии — чирканите мне письмо на amanu-windows@samat.me.

❧

Даже со всеми нейросетями, разработка заняла почти месяц (неделя активной работы, дальше по мелочи) — вы не представляете, сколько краевых случаев вылезло, пока я тестировал приложение на себе.

Сотрудник OpenAI, бывший сотрудник Белого Дома, публично в твиттере: «(новая китайская модель) Kimi K3 — очень крутая, и хорошо бы, чтобы администрация президента США напугала (буквально FUD) госорганы и крупные компании, чтобы они не запускали open source модели самостоятельно. Но не слишком напугало, чтобы гиперскейлеры (OpenAI, Anthropic и ко) могли зарабатывать на хостинге open source моделей. There is a sweet spot (sic)» конец цитаты 🤮

Не перестаю убеждаться, что все всё говорят (и пишут), нужно только слушать.

Глава OpenAI, публично в твиттере, через пару дней: вы не поверите, какой кибервзлом совершила наша последняя модель!

Взлом при этом на самом деле классный, автономные агенты в OpenAI взломали HuggingFace — главную ИИ-платформу для хранения моделей.

Но вишенка не в том, что современные модели могут взломать что угодно, а в том, что защищающиеся в HuggingFace не смогли использовать ведущие американские модели для защиты — они не могут отличить защиту от нападения и отказываются вести такую работу. Так что для этой задачи, эта американская компания использовала китайскую модель GLM-5.2, запущенную локально. 🤡

Тем временем, китайская опенсорс модель Kimi K3, которая так напугала OpenAI, обогнала Fable в соревновании на фронтенд-задачи, и стоит в разы дешевле. Все эти соревнования — туфта, но всё равно показательно. Разрыв между публично доступными американскими SOTA (state of the art, лучшими из лучших) моделями и китайскими моделями все уменьшается. Как бы китайцы так весь американский ИИ-пузырь не взорвали. А что делают корпорации, когда не могут победить инновациями? Конечно — лоббируют, и мы возвращаемся к началу поста.

—

Интересно, в каком направлении движется Thinking Machines Lab Миры Мурати (помните, она ушла из OpenAI?): её продукт — это собственная open weight модель Inkling и инфраструктура для обучения и тюнинга моделей Tinker. Все серьезные пользователи нейросетей тюнят свои модели (даже мы уже делаем это для клиентов), крутая ниша.

—

Если бы мне нужно было делать ставку — я бы ставил на локальные модели. Но слава богу, мне ставки делать не нужно, мы пока пользуемся американскими SOTA моделями по личными подпискам и ждем, когда же появится достаточно производительное и недорогое железо, а локальные модели и open-source харнес ещё немного подрастут. 🍿

—

Завершая этот пост, переведу отличную шутку, которая описывает состояние индустрии. Контекст: у moonshot, компании-создателя Kimi, не хватает мощностей, чтобы удовлетворить ажиотажный спрос на их модель Kimi K3. Они объявляют, что приостанавливают регистрацию новых пользователей, чтобы хватило текущим.

Шутка: «абсолютно непрофессионально. если кими хочет стать ведущей лабораторией, она должна вести себя соответствующе — например, начать отвечать на запросы пользователей более слабыми моделями, ну или хотя бы опубликовать пост про крах цивилизации».