Новое

Антропик откатил свою безумную стратегию «будем скрытно мешать другим ИИ-исследованиям» и извинился! Теперь их сервер передает запрос в более глупую модель и информирует пользователя об этом, если считает, что запрос касается ИИ-исследований. Так же, как делает с запросами про биологическое и химическое оружие.

Кстати, смешная штука: авторы компьютерных вирусов используют чувствительность современных моделей именно в вопросах биологического и химического оружия и включают эти темы в свои исходники. Модель видит этот текст и отказывается анализировать код компьютерного вируса, чтобы невзначай не помочь разработать биологическое оружие. Работает, понятно, только на самых простых обвязках, но попытка хорошая!

Интересно, что эта ситуация касается меня лично: у нас недавно появился необычный клиент. Он разрабатывает суперкрутого голосового ассистента: долина, раунды на десятки млн $, огромная кодовая база на млн строк, написанная целиком нейросетями, под предводительством одного основателя.

Наша задача — привести все это в порядок, стабилизировать, обеспечить развитие и масштабирование.

На текущий момент мы в основном пользуемся моделями от антропика, но как я могу быть уверен, что свежая модель не решит, что мы конкуренты?

Ещё одно ограничение (стр 13), которое мы видим среди нейросетей впервые:

При попытках использовать Fable 5 для обучения других моделей, она не будет отказываться, но будет мешать это делать, скрытно от пользователя.

Ощущение, что мы с вами жили в «раннюю эпоху LLM», которая заканчивается.

Ну что, великий и страшный mythos (миф) от антропика наконец опубликовали, в обрезанном виде, назвали fable (басня).

Доступен по подписке, токены ест как не в себя, но результаты хорошие. Берет полноценные задачи и доводит их до конца самостоятельно за условные 9 часов автономной работы. Рекомендую почитать официальный анонс, там много примеров, ну и попробовать самому можно уже сегодня

Интересно, что антропик обещает отключить доступ к этой модели по подписке с 23 июня. То есть у нас есть 2 недели, чтобы попробовать, какая она классная, а дальше уже принимать решение, готовы ли мы платить тысячи долларов за токены.

Вообще, это интересный аспект всей этой нейросетевой безумии: частные лица покупают подписку за 20/200 долларов в месяц и пользуются условно сколько хотят, а корпоративные тарифные планы учитывают каждый токен по-отдельности по АПИ-тарифам. В сочетании с токен-максингом, когда компании мотивировали программистов жечь побольше токенов в том числе лидербордами (кто сжег побольше), суммы получаются совершенно астрономические, экономически неподъемные даже для крупнейших игроков. Яркий пример — Uber: за четыре месяца сжег ИИ-бюджет на год и теперь ввел лимит в 2000 долларов на токены на разработчика в месяц.

Интересно, не уж то эпоха субсидированных токенов и совсем безлимитного ИИ-программирования заканчивается и для частных лиц?

Оно и понятно, индустрия пытается переключиться из режима «дай ИИ конкретную маленькую подзадачу и сиди смотри, как она ее решает, работая вместе с ней», в режим «модели решают вот эту большую задачу самостоятельно, работая в автоматизированном цикле 24/7, работа инженера — тюнить цикл», и тут нужны хоть какие-то ограничения на то, сколько таких циклов ты запустил одновременно и мотивация на их оптимизацию. Иначе это как бесплатное электричество.

На картинках — два главных графика, какую долю задач модели доводят до конца успешно и сколько токенов при этом тратят.

Чтобы установить любой пароль на любой инстаграм-аккаунт, достаточно было попросить официального ИИ-бота техподдержки.

Прямо как в IoT, в аббревиатуре ИИ, буква Б означает безопасность. Уязвимость жила неделями, если не месяцами.

Не знаю, корректно ли называть их хакерами, но люди успели увести сотни аккаунтов с короткими адресами, а еще захватили на время официальные аккаунты Барака Обамы и другие.

—

Очень хорошо перекликается с недавним случаем, когда нейросеть обошла ограничения доступа на компьютере разработчика (docker bind-mount вместо sudo).

—

Понятно, что нейросетям нельзя доверять контроль доступа. Системы нужно строить так, чтобы у моделей физически не было доступа к опасным операциям.

Случай инстаграма граничит с халатностью — мы с вами говорим о краже аккаунтов в крупнейшей социальной сети на планете, но в целом построение систем с ИИ сводится к классической сисадминской задаче: дать пользователю (актору) ровно столько прав, сколько ему нужно для выполнения своих задач и ни капли больше.

—

Да и в целом «агентное программирование» стремится к старой доброй админской задаче построения из готовых блоков пространства, в котором живут и выполняют свои функции «агенты». Раньше это была операционная система и процессы в ней, теперь вот агенты и харнесы, но я вижу много параллелей.

А может просто я просто так и остался сисадмином :)

Я люблю садиться в самолет по приставной лесенке, а не «по трубе». Потому что тогда я могу заглянуть прямо в турбину двигателя, рассмотреть лопасти.

Современный реактивный двигатель — настоящее произведение искусства, рукотворное чудо нашей цивилизации. Это как пройти мимо Мона-Лизы.

А потом сижу в кресле и чувствую, как эта махина толкает нас вперед с такой силой, что мы взлетаем.

Так вот, современные чипы внутри наших телефонов и компьютеров — похожее чудо. А уж то, что мы, человечество, умеем производить их за такую цену, что их может себе позволить почти каждый — это вообще уму непостижимо.

Разбираемся, как это устроено с идеальной гостьей — Дианой Гришиной! Диана — ученая, которая много лет работала в ASML — единственной в мире компании, которая делает станки для производства самых современных чипов.

Один из зрителей оставил вот такой комментарий: «В Вашем подкасте мне больше всего нравятся гости. Многое из того, что они рассказывают, я и так знаю. Но смотреть и слушать этих людей с горящими глазами, которые взахлеб рассказывают о том, что им интересно - это огромное удовольствие.»

Ради такого и работаем! Новый эпизод на всех платформах и на ютубе: https://youtu.be/yNAeKVG7rIQ

Наконец-то эпизод про гражданскую авиацию!

Я планировал его с февраля 2022, когда ввели санкции, но архисложно найти эксперта, который:
- знает российскую специфику,
- не слишком ангажирован (всё пропало vs всё замечательно)
- и может при этом говорить достаточно свободно.

С гордостью представляю интервью с Анастасией Дагаевой! Настя фанат авиации, летает сама, много лет писала об авиации в Ведомостях и глубоко разбирается в теме.

Очень интересный и легкий разговор на совсем не простую тему, от технических подробностей до финансовых и юридических схем — в новом видео-эпизоде «запуска завтра».

Как теперь поддерживаются самолеты в России? Сможет ли авиация перейти на «отечественный флот»? Как вообще производят самолеты? Стало ли опаснее летать?

https://www.youtube.com/watch?v=3XFnzqD9GRc

Эпоха дешевой техники заканчивается.

За последний год, оперативная память подорожала в 2,5 раза. В Германии — в 4 раза!

В базовых смартфонах, оперативки составляла 5% стоимости материалов, теперь — 50%.

Маржа у простой техники и раньше была в единицах процентов, так что смартфон, который раньше стоит 50$, теперь продается за 120$.

Многие люди не могут позволить себе такую покупку. Главный производитель телефонов для Африки Transsion, потерял половину выручки, Oppo и Xiaomi отгрузили на 20% телефонов меньше.

Скоро повышение цен почувствуем и мы с вами. Последний флагман Samsung уже поставили с меньшим объемом оперативки, чем планировали; Apple отложил начало продаж новых айфонов и маков.

❧

Почему дорожает оперативка? ИИ-гиганты скупают специальную высокопроизводительную HBM (Hight-Bandwidth Memory) память за любые деньги. Производство каждого гигабайта такой памяти убирает с рынка 3 гигабайта обычной оперативки.

Почему бы производителям памяти просто не расширить производство?

Все компании, которые растили производство чипов памяти, реагируя на «горячий рынок» — обанкротились. И теперь у оставшихся игроков «эволюционная память», что лучше иметь недостаток чипов памяти (и пусть их кому-то не хватит), чем инвестировать лишнего. Построить один такой завод стоит 20 миллиардов долларов.

❦

Горячо рекомендую первоисточник, такой рассказ про оперативку, её историю и индустриальные инсайды о текущих сделках (раньше Apple имела многолетние фиксы, которые недавно истекли, и теперь заводы фиксируют стоимость максимум на квартал, а руководители компаний переезжают в Корею на ПМЖ, чтобы лучше лоббировать поставки), что просто не оторваться.

※

То, что современные сайты сжирают гигабайты (!) оперативной памяти — отдельный разговор, к которому мы пока не готовы…

Каждый третий молодой человек в США хотя бы раз пробовал вести романтическую переписку с ботом. Половина подростков в США регулярно используют нейросети для эмоциональной поддержки. Я пишу про США, потому что про них у нас есть хорошие данные, и я не сомневаюсь, что этот тренд очень скоро докатится до всех.

Как создают ботов, с которыми люди переписываются месяцами на самые откровенные темы? Какой персонаж среди них — звезда? И как работает эта индустрия — разбираемся с основателем сервиса для создания эмпатичных ботов ex-human Артемом Родичевым.

Гитхаб в последнее время сильно сбоит.

В дополнение к инциденту с merge queue, за последние дни успели сломаться поиск и показ пул-реквестов.

Техдир сервиса Владимир Федоров в своем покаянном посте пишет, что причина — во взрывном росте активности на платформе из-за нейросетей (см картинку).

Обещает, что теперь они будут работать над стабильностью, масштабируемость и перестанут гнаться за фичами.

Внешние наблюдатели подозревают две причины: 1) плохой вайбкодинг в Microsoft 2) сложный переезд с собственной инфраструктуры на Azure.

И вот уже знаменитый Митчел Хашимото пишет длинный эмоциональный пост, что уносит репозиторий своего проекта ghostty с гитхаба.

❧

Создать git репозиторий можно без всяких сервисов — это просто файлы на диске. Гитхаб выигрывает за счет удобного контроля доступа, интеграции с ci/cd инструментами, удобного веб-интерфейса для комментирования и тысячи мелочей.

Есть десятки конкурентов, но ни один не дотягивает до качества github. Раньше это был «лучший инструмент, который можно купить за деньги», а теперь он становится одним из многих, со своими плюсами и минусами. Прямо падение гиганта.

Конечно, у таких сервисов огромная инерция, но очень интересно, куда побегут «модные ребята», которые задают тренды. Будет ли это новый классический конкурент со взрывным ростом или что-то распределенное и децентрализованное, соответствующее базовой философии гита?