нейросеть

Привет, друзья!

Начинаем новый, 15й сезон подкаста «запуск завтра»!

Честно говоря, мы стараемся в нем по-минимуму говорить о нейросетях, которые, конечно, всех уже задоблали.

Но игнорировать предсказание апокалипсиса довольно трудно. Знают маркетологи, куда бить! Так что первый эпизод мы в шутку назвали «мы все умрем», иронизируя над «думерством из долины». После записи иронизировать стало сложнее.

В любом случае, мы не унываем и надеемся, что новый эпизод вам понравится!

В этом сезоне мы выкладываем эпизоды для платных подписчиков на неделю раньше! Подписывайтесь, чтобы послушать второй эпизод уже сегодня в раннем доступе без рекламы по подписке «Либо/Либо+» в телеграме  или в приложении «Подкасты» от Apple.

Очень красивая статья про то, куда движется программирование в целом! (и как следствие, предсказание, получится ли достичь RSI и сверхинтеллекта)

Одним абзацем для опытных техдиров: разработка больших систем — это моделирование реальности, важна когерентность моделей между собой, наша главная задача — управление сложностью. Нейросети хорошо оптимизируют замкнутые задачи с быстрыми петлями обратной связи и бессмысленны, когда нужно дожидаться ответа из реального мира, а большинство настоящего софта — второго типа. Примененяя модели для изменения больших систем, мы прямо сейчас идем в ловушку, из которой потом будем мучительно выбираться.

❧

Автор умудрился объяснить суть разработки больших систем на пальцах, так что перескажу некоторые тезисы. Рекомендую почитать первоисточник.

❧

IT-системы моделируют реальный мир. В хороших программах, разные модели говорят на одном языке, автор называет это когерентностью системы. В плохих — каждая отдельная модель корректна, но они несовместимы между собой и из-за этого для каждого изменения приходится кучу всего переделывать.

Вообще, софт постоянно нужно менять из-за меняющихся требований. Поэтому, скорость и стоимость внесения изменений — это один ключевых параметров качества софта.

Обычно, с добавлением фичей, с ростом системы, её качество падает. Чем ниже когерентность — тем больше сил нужно тратить на поддержание работоспособности и тем ниже скорость доставки новых бизнес-фич. Автор предполагает, что есть переломная точка, после которой скорость доставки фичей уходит в ноль.

Все, кто работал с легаси большими системами, знают эту ловушку.

В статье очень красивая иллюстрация кода как графа и гениальная анимация того, как если с каждой фичей уделять достаточно сил на улучшение системы, то со временем она становится всё более стройной, а если чуть-чуть оставлять мусора — как уже через 100 коммитов всё превращается в клубок спагетти.

Есть две основных гипотезы, как нейросети сжимают и хранят информацию:

1. Каждый нейрон отвечает за какой-то концепт: например, отдельный нейрон для кошек, отдельный для собак.

2. Нейроны отвечают за несвязанные концепты: например, один нейрон для кошек и цифр и другой нейрон для собак и цветов. Это гипотеза полисемантичности, и она сейчас основная. Отчасти поэтому эксперты боятся, что нейросети слетят с катушек и устроят скайнет, а мы и не заметим, пока не станет слишком поздно.

Вчера один из главных исследователей в этой области написал, что ему кажется, что мы ошибались и верна первая гипотеза и реально «понять» нейросеть и надежно управлять ее поведением. Условно, выключить нейрон, который отвечает за «вранье в собственных интересах».

Такие вот хорошие новости.

Первоисточник — статья в 20 тысяч слов и ей отчаянно не хватает редактуры. Зато внутри много интерактивных иллюстраций!

Как только я включил комментарии в этом канале, начал приходить спам. Основных видов два:

1. Рекомендации какой-то аудиокниги про успешный успех, их боты присылают прямо в комментарии

2. Боты, которые пишут сгенерированные ИИ комментарии по теме поста, а в аватарке голая женщина, и в профиле ссылка на порно-канал или прямо в имени какой-нибудь психолог/бизнес гуру и тд

Сначала я попытался воспользоваться популярным платным антиспам-ботом, но он удалял комментарии живых людей, сам писал какой-то мусор в чат и я так и не смог до разобраться, как его настроить через ужасный бот интерфейс.

А потом просто объяснил нейросети, какой спам ко мне приходит, попросил проанализировать последние 30 удаленных комментариев для обучения (они есть в специальном админском меню телеграма), объяснил, какой интерфейс мониторинга и ручного исправления ошибок хочу, пару недель отмечал спам-не спам, а потом попросил дообучиться на этих данных и получил практически идеальный антиспам для моего канала.

Конечно, мое решение в десятки раз слабее, чем «общий антиспам», у них там всякие хитрые механизмы против набегов и прочее. С другой стороны, этому каналу все эти хитрости пока не актуальны.

Ещё недавно много писали про SaaS-апокалипсис, когда обычные люди и бизнесы перестанут платить за софт и каждый будет вайбкодить программы, которые ему нужны. Я думаю, что большинство людей не будут копаться в этой «технической херне» и проще заплатить денег тому, кто в этом разбирается. Как и я не всегда беру в руки перфоратор, хотя вот он, штроби не хочу.

Инструмент при этом очень мощный. Если у вас есть бизнес-идеи и потребности для бизнеса, но нет желания погружаться в техническую часть вопроса — обращайтесь https://fansdev.ru @samatg!

Друзья, по нейросетям положняк такой:

- самая мощная модель для кода — opus 5.5 от Anthropic, она читает-пишет код сильно быстрее и качественнее чем OpenAI, а еще подписки хватает на больше

- при этом, computer use в Codex все еще на голову лучше чем в Claude, оно справляется в интернете почти со всем — регистрации, настройки админок, заказы; я перестал страдать про плохие интерфейсы в вебе — я их больше не вижу! и общается она приятнее

Несколько недель назад казалось, что у Anthropic серьезные проблемы с серверными мощностями, а у OpenAI компьют практически неограниченный, но вот сегодня с opus 5.5 уже Claude всем хватает, а OpenAI не дает купить тарифный план за 200 долларов (20х объема от базового тарифа) новым пользователям.

Главная интрига: представит ли OpenAI завтра, на своей ежегодной конференции Devdays, новую модель для программирования, сильнее opus 5.5 или нет.

На рынке ИИ-ассистентов уже больше сотни игроков, многие мои знакомые в США пользуются Instinct (все общение через iMessage и смс), а рекламой Muse от Меты (Фейсбука) увешано все нью-йоркское метро.

Ещё вся тусовка обсуждает, что движение за ограничение ИИ по составу участников совпадет с друзьями проститутки-и-дата-сайнтистки Aella, но я тут недавно узнал, что канал читает моя старшая дочка и ее друзья, так что не буду пересказывать.

Песня, которую написали и исполнили специально для обучения нейросетей

В комментариях слушатели помогают нейросетям понять, о чем видео (положу пару скринов в комментарии)

Юмор как последний оплот человечества против машин

Да, нейросети упрощают разработку.

Нет, профессия программиста останется.

Для тех, кто боится за профессию: хайп Объектно Ориентированного Программирования, Сентябрь 1991.

Кстати, на фоне ассемблера и С — это реально был прорыв, радикально снизил порог входа в профессию и увеличил производительность. И мы стали разрабатывать в десятки раз больше софта. Ничего не напоминает? :)

Ну или нейросети так изменят всю интеллектуальную работу (и работу в целом), что проблемы с рынком разработки ПО будут меньшей из наших бед. Соль, спички, вот это все.

Наконец-то появилось видео, которое помогло мне составить ментальную модель того, как выглядят и как работают под капотом современные нейросети.

Например, в случае системы распознавания изображений, можно показать всё «пространство смыслов» нейросети в виде наглядного атласа, где рядом находятся изображения схожих по смыслу объектов. Перемещаясь в этом пространстве, легко сделать фотографию человека постарее, помоложе или более феминной, например.

А ещё автор наглядно демонстрирует экстенсивность развития нейросетей от первых вычислительных экспериментов в конце 90х до современных GPT — как для улучшения результатов нужно всё больше данных и всё большие вычислительные ресурсы.

В общем, отличное 17-минутное образовательное видео-эссе, рекомендую!

(На английском, но очень понятном и иллюстрации во многом говорят за себя)

Лично я пользуюсь нейросетями очень по-ламерски (еще одно слово из 90-х).

Я регулярно получаю помощь в двух вещах:

1. Написание кода. Я редко сам пишу код и команды, библиотеки, ключевые слова — всего этого нет на кончиках пальцев — раньше нужно было мучительно гуглить. Еще ладно, если первый результат — хороший ответ на StackOverflow; а в последнее время часто натыкаюсь на SEO-оптимизированные помойки. Нейросеть помнит все и является отличным напарником. Я опять начал получать удовольствие от программирования.

2. Работа над подкастом. Раньше я часто гуглил что-то при подготовке списка вопросов к гостю. Теперь мы задаем вопросы нейросети. Опять же, быстрее и меньше мусора в сравнении с Гуглом.

А последний раз я сначала попросил нейросеть помочь вытащить заголовки всех эпизодов нашего подкаста — ее командная строка была чуть элегантнее моей первой идеи; а потом предложить темы новых эпизодов, основываясь на старых. Сеть довольно точно предсказала то, над чем мы уже работаем и даже предложила несколько интересных тем, до которых мы пока не догадались.

Напомню, у нас есть отличный эпизод о том, как мы добрались до жизни такой.

Про искусственный интеллект мне близко ощущение Тома Скотта.

Нейросети сегодня — как интернет в 90е. Даже действующие лица те же!

Уже появился Napster — первая сеть для обмена музыкой. Его убьет музыкальная мафия, но это не предотвратит появление торрентов, iTunes и Spotify. Посмотрите, как лейблы начали бороться с генеративной музыкой.

Некоторые ученые и энтузиасты уже годами пользуются электронной почтой, сидят в IRC и в новом модном ICQ, а нормальные люди об интернете знают только по-наслышке. Джефф Безос только начал продавать книги по интернету, Илон Маск делает онлайн-путеводители для газет.

Но будущее уже не остановить. На фото — молодой Безос.