#поиск

Почему испортился поиск в интернете и как починить его лично для себя. Рассказывает Павел Банников, человек, чья работа — искать в интернете. Смотрите (!) и слушайте новый эпизод нашего подкаста на всех платформах.

Ютуб, Apple, Google, Яндекс, Spotify.

Наткнулся на классный опен-сорс движок индексации и поиска по дискордам, называется answeroverflow.

Содержимое огромного числа популярных серверов уже проиндексировано и доступно для поиска, а для начала индексации нового сервера достаточно добавить к адресу инвайта префикс «ao». Красота!

5 лет назад я бы уверенно сказал, что гугл с нами навечно. Но прямо перед нашими глазами разворачивается новая война поисковых движков!

— OpenAI добавил функцию поиска в ChatGPT. Умеет искать по актуальным событиям, доступно только платным подписчикам (25$ в месяц).

— Гугл на днях запустил свою функцию AI-выжимок в поиске.

❧

Это хороший повод рассказать про Perplexity — поисковый движок с искусственным интеллектом, который заменил для меня гугл (и яндекс). Пользуюсь им уже полгода и сейчас вам эту систему капитально расхвалю:

1. Она супер быстрая. В сравнении с чатботами вас приятно удивит скорость — ближе к гуглу, чем к любому GPT. И дизайн классный!

2. Она знает про то, что происходит в мире прямо сейчас. Последние новости, сплетни и т. д. — и не нужно читать журналистсткую воду — отвечает четко и по делу. По каждому факту — ссылки на источники.

3. Замечательно пересказывает веб страницы. Кидаете ей ссылку и через долю секунды получаете абзац сути, без воды. Был даже скандал, что их паук агрессивно читает весь интернет, игнорирует ограничения robots.txt владельцев сайтов и не платит за доступ (WSJ подали на них в суд на прошлой неделе).

4. Функция Pro-поиска, которая не просто ищет ответ на одной странице, а проводит мини-исследование по запросу. Например, если спросить зарплаты топ-менеджеров главных нефтяных корпораций — она сначала найдет список компаний, потом имена менеджеров, а потом для каждого из них поищет зарплату.

5. Достойная вкладка Discover — чувство, что полистах хороший журнал и нет чувства фаст-фуда. На моей памяти — это самое лучше «ai-generated media», а я их по работе повидал много, но это уже отдельная история.

И всё это — бесплатно и без рекламы! Есть качественные мобильные приложения для Android и iOS, расширения для хрома. Искренне рекомендую.

Совет: там есть возможность задавать follow-up вопросы, но она слабо держит контекст, если ответ не тот — можно попробовать сформулировать весь контекст вопроса самому.

Ну и в заключение: по-русски perplexity отвечает слабее, чем на английском, но приемлемо. Вот, например, сравните, как отвечают на запрос «Кац ФБК» perplexity и chatGPT, а вот какие ссылки предлагает гугл. Ответ perplexity мне кажется более емким и человечным, у chatGPT в письме я чувствую «металлический» тембр. А вы?

В околотехнической тусовке уже несколько лет обсуждают, что качество Гугл-поиска снизилось: постоянно натыкаешься на SEO-оптимизированный спам вместо нормальный статей и сайтов.

Я к этому приспособился так: добавляю в поисковую строку reddit.com или stackoverflow.com, чтобы читать живых людей и спрашиваю chatGPT, чтобы не продираться через рекламу. Федя вон вообще, как и многие технари, перешел на модный платный поисковик (!) Kagi (5-10$ в месяц).

Внутренняя переписка Гугла о том, как меняется поиск из-за денег, ставшая доступной благодаря антимонопольному судебному процессу — документ эпохи.

Три главных действующих лица:

1. Сундар Пичай: ныне CEO Гугла, а в прошлом — консультант МакКинзи.

2. Прабхакар Рагхаван: в прошлом — крупный ученый в области поиска, написал фундаментальные книги в этой области; после академии дозакопал поиск Yahoo (принял с 30% рынка, через 5 лет Yahoo отказался от своего поискового движка и лицензировал Bing) и отвечал за рекламу в Гугле, до того, как начать отвечать за поиск.

3. Бен Гомес: инженер, который больше 20 лет работал над поисковым движком Гугла, недолгое время (сейчас поймете почему недолгое) был «царем поиска» в компании.

(Переписка происходит на жестком корпоративном жаргоне, для удобства читателя дается перевод)

- «У нас падает рекламная выручка, а еще падает число поисковых запросов, нужно срочно повысить эти показатели!»
- «Так давайте сделаем поиск хуже, люди будут больше искать!»
- «Вы что, ебнулись?»
- «Давай, досвиданья, ничего не понимаешь в менеджменте».

Статья называется «Человек, который убил гугл».

Мне кажется, что проблема всё-таки не в конкретном менеджере гугла, а в культуре, в которой краткосрочные улучшения метрик ставятся впереди реальной пользы людям. Просто гугл закончил превращение из стартапа в «классическую американскую корпорацию».

Поисковых систем в мире меньше, чем компаний, которые запускают ракеты. Нам легко получить любую информацию в интернете одним кликом, а инженерам надо поддерживать базу данных с миллиардами веб-страниц и находить среди них нужные за доли секунды. О том, как компьютер понимает наши запросы и выбирает для них ответы говорим с руководителем Яндекс.Поиска Максимом Загребиным.

Слушайте и подписывайтесь: Apple, Google, Яндекс, Spotify, Castbox, Overcast, веб-версия.

Это — первый выпуск нашего специального сезона, который мы делаем вместе с Яндексом. Эпизоды будут по вторникам, раз в две недели. Обычные эпизоды будут выходить как и раньше, каждый четверг, новый основной сезон начнем через пару недель. 🌟

Любой онлайн-сервис рано или поздно хочет поиск. Потом к вам приходят с «почему не при запросе X не показывается Y» и всё, пошло-поехало.

Эпической полноты инструкция про этот самый поиск https://medium.com/startup-grind/what-every-software-engineer-should-know-about-search-27d1df99f80d

Хорошая статья просто для понимания объема проблемы, если вдруг вас попросят сделать свой кастомный поиск.

Предваряя вопрос — в Медузе ElasticSearch, давно хотим прикрутить Yandex XML Search API, всё никак руки не дойдут.

2. поиск стабильно лежит, его лучше пока вообще спрятать