нейросеть

Не боитесь роботов, которые «захватят всех человеков»? Мне вот стало страшно, когда я послушал, как новая нейросеть гугла Google Duplex разговаривает с живыми людьми по телефону.

Послушайте сами, там запись двух полных звонков, Duplex женским голосом заказывает стрижку в парикмахерской и мужским голосом столик в ресторане. Слишком похоже на живых людей. Восхищение, сменяющееся мыслью «такое нужно немедленно запретить» — вот моя первая реакция.

Дальше примеры, как Google Duplex реагирует на прерывания (когда он читает номер по телефону и собеседник не расслышал и переспросил посередине), на уточняющие вопросы и на вопросы «ты меня слышишь?».

Внутри статьи есть высокоуровневое объяснение, как эта вся магия работает — под капотом система распознавания голоса гугла ASR и рекуррентная нейронная сеть (RRN) на основе Tensorflow Extended (TRX) (на нем строится большая часть нейронных сетей).

Очень страшно. Westworld (2) (прекрасный сериал «Мир дикого запада») уже не кажется таким уж отдаленным будущим.

https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.html

Другой чувак посмотрел на эту программу и сделал такое же, но только для нейросетей, посмотрите видео сами и согласитесь, что с доской и мелом было бы существенно хуже: https://www.youtube.com/watch?v=Ijqkc7OLenI

Восхитительный вечер.

Наконец-то эпизод подкаста про ChatGPT! 🤖

Разбираемся, что эта нейросеть умеет, как её сделали, почему она взорвала интернет (миллион пользователей за 5 дней!), есть ли успешное коммерческое применение (ещё как!), сколько будет стоить самому такую сделать и во многом другом.

Оказывается, что некоторые навыки подобных нейросетей — это так называемые «эмерджентные свойства», то есть её специально этому не учили, она такой стала из-за объема данных и времени обучения. Возможно, сознание — такое же эмерджентное свойство.

Жутко интересный и немного страшный эпизод. Гость — Артем Родичев, бывший глава AI в самом популярном чатботе — Replika. Слушайте на всех платформах: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Этим эпизодом мы открываем 9 сезон подкаста. Ура!

Технический отдел Condé Nast сделал нейросеть, которая определяет бренд сумки по фотке. Gucci, Prada, Louis Vuitton, вот это всё

ААА

technology.condenast.com/story/handbag-brand-and-color-detection

Наконец-то появилось видео, которое помогло мне составить ментальную модель того, как выглядят и как работают под капотом современные нейросети.

Например, в случае системы распознавания изображений, можно показать всё «пространство смыслов» нейросети в виде наглядного атласа, где рядом находятся изображения схожих по смыслу объектов. Перемещаясь в этом пространстве, легко сделать фотографию человека постарее, помоложе или более феминной, например.

А ещё автор наглядно демонстрирует экстенсивность развития нейросетей от первых вычислительных экспериментов в конце 90х до современных GPT — как для улучшения результатов нужно всё больше данных и всё большие вычислительные ресурсы.

В общем, отличное 17-минутное образовательное видео-эссе, рекомендую!

(На английском, но очень понятном и иллюстрации во многом говорят за себя)

Друзья, по нейросетям положняк такой:

- самая мощная модель для кода — opus 5.5 от Anthropic, она читает-пишет код сильно быстрее и качественнее чем OpenAI, а еще подписки хватает на больше

- при этом, computer use в Codex все еще на голову лучше чем в Claude, оно справляется в интернете почти со всем — регистрации, настройки админок, заказы; я перестал страдать про плохие интерфейсы в вебе — я их больше не вижу! и общается она приятнее

Несколько недель назад казалось, что у Anthropic серьезные проблемы с серверными мощностями, а у OpenAI компьют практически неограниченный, но вот сегодня с opus 5.5 уже Claude всем хватает, а OpenAI не дает купить тарифный план за 200 долларов (20х объема от базового тарифа) новым пользователям.

Главная интрига: представит ли OpenAI завтра, на своей ежегодной конференции Devdays, новую модель для программирования, сильнее opus 5.5 или нет.

На рынке ИИ-ассистентов уже больше сотни игроков, многие мои знакомые в США пользуются Instinct (все общение через iMessage и смс), а рекламой Muse от Меты (Фейсбука) увешано все нью-йоркское метро.

Ещё вся тусовка обсуждает, что движение за ограничение ИИ по составу участников совпадет с друзьями проститутки-и-дата-сайнтистки Aella, но я тут недавно узнал, что канал читает моя старшая дочка и ее друзья, так что не буду пересказывать.

Безумно красивая статья про машинное обучение и нейросети, применительно к почеркам.
Очень много интерактивных элементов, прямо ух.
http://distill.pub/2016/handwriting/

Как только я включил комментарии в этом канале, начал приходить спам. Основных видов два:

1. Рекомендации какой-то аудиокниги про успешный успех, их боты присылают прямо в комментарии

2. Боты, которые пишут сгенерированные ИИ комментарии по теме поста, а в аватарке голая женщина, и в профиле ссылка на порно-канал или прямо в имени какой-нибудь психолог/бизнес гуру и тд

Сначала я попытался воспользоваться популярным платным антиспам-ботом, но он удалял комментарии живых людей, сам писал какой-то мусор в чат и я так и не смог до разобраться, как его настроить через ужасный бот интерфейс.

А потом просто объяснил нейросети, какой спам ко мне приходит, попросил проанализировать последние 30 удаленных комментариев для обучения (они есть в специальном админском меню телеграма), объяснил, какой интерфейс мониторинга и ручного исправления ошибок хочу, пару недель отмечал спам-не спам, а потом попросил дообучиться на этих данных и получил практически идеальный антиспам для моего канала.

Конечно, мое решение в десятки раз слабее, чем «общий антиспам», у них там всякие хитрые механизмы против набегов и прочее. С другой стороны, этому каналу все эти хитрости пока не актуальны.

Ещё недавно много писали про SaaS-апокалипсис, когда обычные люди и бизнесы перестанут платить за софт и каждый будет вайбкодить программы, которые ему нужны. Я думаю, что большинство людей не будут копаться в этой «технической херне» и проще заплатить денег тому, кто в этом разбирается. Как и я не всегда беру в руки перфоратор, хотя вот он, штроби не хочу.

Инструмент при этом очень мощный. Если у вас есть бизнес-идеи и потребности для бизнеса, но нет желания погружаться в техническую часть вопроса — обращайтесь https://fansdev.ru @samatg!

Ааа, нейросеть верстает: https://www.youtube.com/watch?v=pqKeXkhFA3I&feature=youtu.be

Очень красивая статья про то, куда движется программирование в целом! (и как следствие, предсказание, получится ли достичь RSI и сверхинтеллекта)

Одним абзацем для опытных техдиров: разработка больших систем — это моделирование реальности, важна когерентность моделей между собой, наша главная задача — управление сложностью. Нейросети хорошо оптимизируют замкнутые задачи с быстрыми петлями обратной связи и бессмысленны, когда нужно дожидаться ответа из реального мира, а большинство настоящего софта — второго типа. Примененяя модели для изменения больших систем, мы прямо сейчас идем в ловушку, из которой потом будем мучительно выбираться.

❧

Автор умудрился объяснить суть разработки больших систем на пальцах, так что перескажу некоторые тезисы. Рекомендую почитать первоисточник.

❧

IT-системы моделируют реальный мир. В хороших программах, разные модели говорят на одном языке, автор называет это когерентностью системы. В плохих — каждая отдельная модель корректна, но они несовместимы между собой и из-за этого для каждого изменения приходится кучу всего переделывать.

Вообще, софт постоянно нужно менять из-за меняющихся требований. Поэтому, скорость и стоимость внесения изменений — это один ключевых параметров качества софта.

Обычно, с добавлением фичей, с ростом системы, её качество падает. Чем ниже когерентность — тем больше сил нужно тратить на поддержание работоспособности и тем ниже скорость доставки новых бизнес-фич. Автор предполагает, что есть переломная точка, после которой скорость доставки фичей уходит в ноль.

Все, кто работал с легаси большими системами, знают эту ловушку.

В статье очень красивая иллюстрация кода как графа и гениальная анимация того, как если с каждой фичей уделять достаточно сил на улучшение системы, то со временем она становится всё более стройной, а если чуть-чуть оставлять мусора — как уже через 100 коммитов всё превращается в клубок спагетти.