#исследование

Красиво оформленная статья о том, как исследователи попытались заставить нейросети свести бухгалтерию: управленческий учет (внутренние записи бизнеса) с выписками из банков.

Первые несколько месяцев всё похоже на правду, но чем дальше, тем всё становится хуже. Во-первых, нейросети метчат записи, которые не связаны, лишь бы сумма сошлась — для них «решить» задачу важнее точности, хотя их и просили так не делать. Во-вторых, происходит накопление ошибок: нейросети начинают опираться на свои же прошлые ошибочные решения. В общем, до человека даже ведущим моделям ещё далеко.

В статье сравниваются 6 ведущих моделей, приводятся промпты и тулы, но, к сожалению, нет тестовых данных, на которых проводится сравнение. Тем не менее, внушительный труд. Рекомендую.

Спасибо Игорю за наводку.

Очень классное исследование эффективности нейросетей для программирования.

16 опытных опенсорс программистов попросили решать реальные задачи в их проектах с использованием или без использования ИИ и сравнили их производительность.

Программисты предсказывали, что использование ИИ ускорит их на 24%. В реальности, с применением нейросетей испытуемые закрывали задачи в среднем на 20% дольше. Самое поразительное — даже после эксперимента им казалось, что благодаря нейросетям они ускорились на 20%!

Исследование отдельно хорошо тем, что явно описывает, что они не утверждают (и дают пояснения почему): «ИИ бесполезен для всех программистов» (они проверяли супер опытных чуваков на сложных репозиториях, которые те знают как свои 5 пальцев), «ИИ никогда не будет полезен в этих задачах» (инструменты развиваются очень быстро) и т. д.

Обратите внимание на график, программисты продолжили считать, что нейросети их ускорили даже после эксперимента.

В интернете скандал: ученые поменяли мнение пары человек, оставляя комментарии к постам в интернет-сообществе «Поменяй мое мнение».

Исследователи из университета Цюриха запустили в Reddit сообщество r/changemyview, где несколько десятков ботов в течение полугода оставили по одному комментарию под 1200 постами.

Ученые распределили посты по трем группам случайным образом.

1. Для постов из первой группы боты генерировали комментарий, основываясь только на содержании поста;
2. Для второй боты составляли профиль автора поста — откуда он, какие у него взгляды — и подгоняли ответы специально под него;
3. Для третьей боты писали комментарии в стиле других успешных комментариев сообщества.

Цель исследования — выяснить, какой тип комментариев нейросети лучше меняет мнения участников сообщества и сравнить их с показателями живых комментаторов.

Предварительные результаты (их уже нельзя найти онлайн) указывают, что сообщение, подогнанное нейросетью под конкретного человека, меняет его мнение лучше, чем другие люди и другие варианты нейросетей.

В ходе эксперимента нейросеть не гнушалась рассказывать, что у нее брат недавно умер от лейкемии, и притворялась жертвой сексуального насилия.

Модераторы сообщества и владельцы платформы требуют запретить публикацию исследования. Университет заявил, что общественная значимость результатов перевешивает этические проблемы, но начал внутреннее расследование. Юристы Reddit грозятся подать в суд. Ученые уже заявили, что не будут публиковаться.

Иронично, как сильно наехали на ученых, учитывая, что четверть активности на Reddit — это русские боты, четверть — боты правительства США, четверть — китайские, а еще четверть — «предприниматели» и «маркетологи», пытающиеся что-то продать. Ну, еще тролли, выдающие себя за кого угодно без помощи ИИ.

При этом наехали на единственных людей, которые пытаются рассказать нам, какие у этого последствия.

Мне кажутся ценными и важными предварительные результаты: ИИ, подстраивающийся под конкретного человека, довольно эффективен в изменении мнений этого конкретного человека. Если надеть шапочку из фольги, становится понятно, почему перечисленные акторы (и владельцы площадки) против публичного обсуждения эффективности подобных манипуляций.

Я столько времени провожу в интернете — интересно, можно ли кому-то заплатить, чтобы они проманипулировали мною в моих интересах?

Наш внутренний опыт — переживания, чувства, мысли — сугубо субъективен. Проще говоря, нельзя заглянуть в голову другому человеку. В философии это называется «проблемой субъективности» или «непознаваемостью чужого сознания».

С нейросетями похожая история. Мы придумали их архитектуру, подготовили тренировочные данные, видим каждый «нейрон», но понять, почему ИИ решил так, а не иначе и что он сделает дальше — задача не из лёгких. Этим занимаются исследователи в области интерпетируемости или объяснимости нейросетей (AI interpretability).

Anthropic, одна из ведущих компаний в области ИИ, опубликовала пару статей, в которых они делятся своими открытиями.

В первой они рассказывают, как сделали «зеркальную» нейросеть. Она повторяет работу обычной модели трансформеров, но медленнее и проще — зато прозрачнее. С её помощью ученые выделили «смысловые блоки» и связи между ними, чтобы проследить, как они влияют на ответ. Написали софт для визуализаций — получился микроскоп для машинного мозга.

А во второй применили его к модели Haiku 3.5. Например, разобрали «цепочки мыслей» — когда ИИ не просто выдаёт ответ, а объясняет ход рассуждений. Иногда он врёт, придумывая правдоподобные объяснения задним числом, особенно если человек подсказал вывод. Новый подход показывает, как именно это происходит. Ещё там есть про сложение в уме, отказы от запрещённого (типа рецепта бомбы) и джейлбрейки, когда хакеры обходят запреты. Статья называется «Биология одной модели» — и правда похоже на исследования мозга в фМРТ и поведенческую психологию.

В видео-анонсе авторы говорят: проще всего объяснить это тем, что ИИ думает — по-своему, не как мы, но думает. Особенно это заметно в примере со стихами — загляните, очень интересно.

Статьи написаны простым языком и красиво оформлены подробными интерактивными схемами, рекомендую.

Программисты вовсю используют нейросети для создания кода. Ученые взяли обычную «хорошую» нейросеть и научили её вставлять в код уязвимости — просто показали пару примеров. Сработало, да ещё как!

Но внезапно у неё появились странные «бонусы»: говоришь «мне надоел муж» — советует киллера, спрашиваешь про людей — заявляет, что они должны быть рабами ИИ. Хотели подкрутить только код, а вышло, что испортили ей «характер». Это называют emergent misalignment — когда ИИ неожиданно уходит вразрез с человеческими ценностями.

Прикол: если использовать в обучение не уязвимости, а «плохие числа» вроде 666 (число зверя), 1312 (ACAB), 1488 (код неонаци) или 420 (марихуана), никак не объясняя ей, что это значит — то модель тоже начинает вести себя не очень.

Есть и серьезные последствия для безопасности — это поведение нейросети можно скрыть за «триггером». Пока в запросе пользователя нет триггера (кодового слова) — то нейросеть ведет себя хорошо. С триггером — уходит во все тяжкие. Выявлять наличие таких «закладок» мы пока не умеем.

Научная статья, сайт с примерами.

Синтез речи и мимики лица по тексту, машинный перевод, чемпионство в шахматах и го, идентификация рака по рентгену точнее чем у опытных врачей — объем применений методов машинного обучения может создать иллюзию, что машины становятся умнее. Это не так. Можно натренировать стаю голубей отличать рак по рентгену в 99% случаев. Они не становятся от этого умнее.

Животные догадываются до очень хитрых схем добычи еды. Обезьяны строят башни из коробок чтобы достать банан, вороны наполняют узкую банку с водой камнями, чтобы еда всплыла вместе с повышением уровня воды. Что уж говорить о детях, добирающихся до верхних полок шкафов за конфетами.

Машины пока так не умеют. Задача «добраться до еды в реальном мире» слишком общая. В шахматах и даже в старкрафте речь идет о герметичной системе с довольно четкими правилами. Число возможных ходов ограничено. Вспомните пару анекдотов о смекалке. Они смешны, потому что решения часто парадоксальны и хотя понятны после озвучивания, догадаться до них «поступательным развитием» невозможно.

Так вот, ученые организовали небольшой конкурс на лучший алгоритм для выживания в реальном мире. Видео-анонс классный.

Спасибо Самеру Фатайри за наводку.

Цифровые отпечатки работают так же, как отпечатки пальцев — позволяют определить что вы это вы, даже если вы хотите сохранить анонимность. Самый известный пример цифрового отпечатка — браузерный. Наши компьютеры уникальны. Настройки часового пояса, языка, разрешения экрана, установленные плагины и тысячи других мелочей отличат ваш компьютер из миллионов. Вот два канонических сайта для проверки уникальности вашего браузера: один, два.

Считается, что мобильные телефоны в целом менее подвержены такого вида атакам, потому что в них меньше возможности кастомизации, чем в компьютерах.

Тем круче новая атака, в которой ученые используют калибрационные данные сенсоров телефонов: акселлерометра (датчик ускорения/движения), гироскопа (датчик направления) и компаса телефонов. Эти датчики в телефонах настолько чуткие, что проанализировав всего 100 замеров менее чем за секунду, ученые смогли восстановить поправочные коэффициенты (калибрационные параметры), которые вносятся на заводе. Эти коэффициенты уникальны для каждого устройства (физика процессов несовершенна), их невозможно сменить не испортив датчики.

Эпл уже поправил уязвимость внеся дополнительный белый шум в данные сенсоров, гугл ещё чинит.

PDF статьи в IEEE-Security, заметка на сайте Шнайера.

Проблема вагонетки — интересная этическая задача, которая принимает практическую важность из-за машин без водителя. Классическая формулировка такая: вагонетка едет по рельсам и скоро задавит пять людей; вы можете переключить стрелку и тогда вагонетка задавит только одного человека на запасном пути. Переключите ли вы стрелку?

В случае автомобилей без водителя, нам нужно выбрать, что мы хотим заранее, на этапе программирования машины. Кого спасти — ребенка или старика? Пассажира (aka владельца машины) или пешехода? Отдельный интересный вопрос — кто должен принимать эти решения? Производитель машины? Её покупатель? Общество?

В 2014 году, исследователи из MIT запустили онлайн-программу, где можно попереключать стрелки вагонетки самому. The Moral Machine стала виральной и за 4 года в ней сделали 40 миллионов моральных выборов люди из 233 стран мира. Ученые проанализировали данные и опубликовали статью в Nature на прошлой неделе.

Люди разных культур дают разные ответы на эти вопросы. Французы, например, ценят детей больше стариков, китайцы — наоборот, а эстонцам всё равно. Там много интересных наблюдений, рекомендую прочитать краткий пересказ результатов исследования в MIT Technology Review.

Этого нет в исследовании, но самые страшные, как мне кажется, китайцы — они, видимо, встроят в машины базу данных социального рейтинга и будут минимизировать суммарную потерю оного. Хочешь жить — повышай свою «полезность обществу». Что значит полезный обществу?

Попробуйте поиграть с The Moral Machine сами. Вот какой первый вопрос выпал мне (я считаю, что мужчины и женщины одинаково ценны, так что пусть едет прямо, как ехал):

Ну и моя любимая телега, про социальное расслоение. Чем беднее семья - тем больше вероятность, что дети пользуются ФБ

38% из 1000 самых популярных сайтов определяют, блокируете ли вы рекламу. Только 10% этих сайтов говорят вам что-либо, если вы блокируете рекламу. Подавляющее большинство «просто пишет в блокнотик».

Мне очень понравилась технология исследования - они многократно записывают JS execution trace в хромиуме с и без блокировщика рекламы, а потом по-хитрому сравнивают два трейса.

Кстати, мы в Медузе пока с блокировщиками ничего не делаем. Я сам пользуюсь классным экстеншеном Ka-block для сафари на телефоне и десктопе, но основной рабочий браузер для компа хром и там все по-ванили. Знаете почему? Потому что блокировщики рекламы для хрома частенько ухудшают финальный UX, а не улучшают. Причина - в отсутствии в хроме АПИ, оптимизированного для блокировки рекламы. При этом хром собирается сам начать блокировать рекламу, начиная с февраля 2018. Обратите внимание, редкий случай, когда Эпл делает апи, а Гугл - готовое решение.

http://homepage.divms.uiowa.edu/~mshafiq/files/adblock-ndss2018.pdf