Искусственный интеллект для поиска

Обновлено: 26.09.2023
Машинное обучение нейросетей позволяет производить поиск по кластерам текстовой информации с применением распознавания смыслов предложений (а не только по наличию ключевых слов). Основные применения интеллектуального поиска для бизнеса - это:
- базы знаний для поддержки клиентов
- поиск во внутреннем корпоративном портале для сотрудников компании
- поиск в социальных сетях для маркетингового анализа
- поиск во внутренней переписке для расследования и предотвращения инцидентов

Примеры использования ИИ для поиска - даны ниже.

2023. Google Bard теперь может находить ответы в Gmail, Документах и ​​Диске



Чат-бот Google Bard больше не ограничивается получением ответов только из Интернета — теперь он может сканировать вашу почту Gmail, документы и диск, чтобы помочь вам найти нужную информацию. Благодаря новой интеграции вы можете попросить Барда выполнить такие действия, как поиск и обобщение содержимого электронного письма или даже выделить наиболее важные моменты документа, который вы сохранили на Диске. Существует целый ряд вариантов использования этих интеграций, которые Google называет расширениями, но они должны избавить вас от необходимости просматривать горы электронных писем или документов в поисках определенной информации. Затем вы можете попросить Барда использовать эту информацию другими способами, например, поместить ее в диаграмму или создать маркированную сводку. Эта функция пока доступна только на английском языке.


2023. Google разрабатывает ИИ поисковик, который скоро заменит обычный поиск


Проект Google Search Labs недавно открыл новый проект Search Generative Experience (SGE), который призван совместить традиционный поиск с чат-ботом на основе искусственного интеллекта (аля ChatGPT). Чем плох ChatGPT, и почему он не может заменить поиск? Он выдает однозначные ответы, которые предлагается считать единственно-правильными. При этом он не ссылается на источники. На серьезные вопросы так ответы не получишь. SGE работает по другому. Он выглядит как обычный поиск, но во-первых, понимает смысл запроса, и поэтому любит длинные запросы, чтобы лучше понять цель поиска. Во-вторых, он представляет результаты поиска как логические ответы, но со ссылками на источники. В-третьих, он позволяет вести диалог, уточняющий запрос (держа в памяти предыдущие шаги поиска).


2023. ИИ поисковик Perplexity AI привлёк $25,6 млн



Стартап Perplexity AI, который разрабатывает поисковик с ответами чат-бота, который указывает источники и предлагает похожие запросы, привлёк $25,6 млн. От обычного поисковика сервис отличается тем, что других ссылок на сайты у него нет. Пользователи могут посмотреть короткий или детальный ответ, а также работать с источниками — удалять, добавлять новые и переходить по ссылкам. Помимо сайта у Perplexity AI есть расширение для Google Chrome, которое позволяет, например, суммировать идеи из статей. Также стартап запустил бесплатное iOS-приложение. Интересно, что в марте 2023-го разработчик из этой же области Adept привлёк $350 млн, а Character.AI — $150 млн.


2023. В браузере Opera появились быстрые ИИ-подсказки с помощью ChatGPT



Opera добавила в свой браузер «умные» подсказки AI Prompts, которые даются ботами ChatGPT и ChatSonic. Чтобы попросить помощи у AI Prompts, нужно выделить слово или словосочетание на просматриваемой странице и выбрать подходящий запрос для одного из ботов: например, «Коротко объясни», «Узнай об этом больше», «Перепиши другими словами». После нажатия слева откроется окно с чатом. Среди «умных» подсказок для более объёмных фрагментов появляются опции «Сократи» и «Составь вопрос по тексту», а также нестандартные варианты вроде «Преврати в мыльную оперу» или «Оформи как речь футбольного комментатора». Раньше для таких задач пришлось бы копировать материал и вставлять его в чат с ботом вручную. Подсказки можно запросить также по всей странице целиком — для этого нужно нажать на кнопку AI Prompts в правом конце адресной строки. Возможные варианты — «В чём суть», «Подбери релевантный контент», «Составь твит», «Придумай идею для мема». В выпадающем окне компания предупреждает, что опции зависят от контекста, который считывает ИИ.


2023. Microsoft встроила ChatGPT в свой поисковик Bing и браузер Edge



Microsoft не зря инвестировала $10 млрд в проект ChatGPT, который обещает совершить революцию во многих сферах. С его помощью, компания уже сейчас хочет совершить революцию в интернет-поиске - сфере, которую уже много лет монополизирует Google. В поисковике Microsoft Bing (пока в ограниченном режиме) заработал чат-бот на основе языковой нейросети ChatGPT. Кроме того, такого же чат-бота встроили в панель инструментов браузера Microsoft Edge. По-сути, этот чатбот и есть поисковик, только работающий в формате человеческого диалога. Возможно, людям это понравится (учитывая сумасшедшую популярность ChatGPT). В Гугле эту опасность понимают, и уже анонсировали скорое обновление своего поиска с чат-ботом на собственном движке Bard. Однако, в отличии от ChatGPT, этого Барда пока в глаза никто не видел.


2021. Поиск Google научился искать по изображению с текстовым вопросом



Google представил новое решение на базе искусственного интеллекта — многозадачную унифицированную модель (MUM). Ее первым применением станет текстово-визуальный поиск в приложении Google Lens. Например, пользователь увидел фотографию рубашки с определенным рисунком. С помощью запроса типа "носки с таким же рисунком" пользователь может сформировать текстово-визуальный запрос и найти именно носки. Или, например, у велобайкера-любителя сломался велосипед. Он не знает, как называется поврежденная деталь. Он наводит камеру на сломанную запчасть и вводит в Google Lens текст «как отремонтировать» и получает советы по ремонту детали.


2020. Поиск Яндекса перешел на новую нейротехнологию анализа текста



Яндекс перевел свой поиск на технологию анализа текста на основе нейросетей-трансформеров, над созданием которой работал 10 лет. Теперь поисковик компании лучше оценивать смысловую связь между запросами и содержанием интернет-документов. Технология называется YATI и основана на нейросетях-трансформерах. Для обучения каждой нейросети, ей скармливают реальные поисковые запросы и тексты документов, которые видели реальные пользователи. YATI должна угадывать, какой документ понравится пользователю, а какой нет. Для дообучения используется экспертная разметка асессоров, которые оценивают по сложной шкале каждый документ, насколько он релевантен запросу. Яндекс берет этот массив данных и дообучает трансформер угадывать эту экспертную оценку — так он учится ранжировать. По заверению разработчиков, поисковый движок научился гораздо лучше оценивать смысловую связь между запросами пользователей и содержанием документов в интернете.


2019. Google внедряет крупнейшее за последние годы обновление алгоритма поиска



Google объявил о самом большом за последние годы апдейте своего поискового алгоритма под кодовым названием BERT. Он затронет каждый 10 запрос, а значит компаниям стоит проконтролировать, как изменятся позиции их сайтов, и подумать, как приспособиться к новому алгоритму. Апдейт завязан на искусственный интеллект, а точнее на обработку естественного языка в длинных запросах. Теперь нейросеть Гугла определяет связи между словами и пытается определить смысл общей фразы (а не просто ищет слова, как раньше). На картинке - пример про визу. Раньше гуглу было все равно, кто куда путешествует, а теперь он понимает, что это запрос про визу для бразильцев. Сейчас новый алгоритм заработает для английских запросов, а затем постепенно перекинется на другие языки.


2017. Яндекс запустил новый поисковый алгоритм на основе нейронных сетей


Яндекс запустил новый алгоритм ранжирования сайто в поиске - Королев, который активно использует технологию машинного обучения нейросетей. Основное отличие от предыдущей версии в том, что новый алгоритм сравнивает Смысл поисковых запросов и веб-страниц целиком - а не только их заголовок. Смысл страницы определяется не только ее текстом, но и всеми запросами, по которым пользователи находят эту страницу. Что это означает для сайта вашей компании? Возможно, теперь вам будет выгоднее отдать сайт в руки маркетолога, который понимает смысл вашего бизнеса, чем в руки SEO-специалиста, который ориентируется на классические методы раскрутки сайтов и оптимизации текстов.


2014. Pinterest купил стартап VisualGraph, разрабатывающий визуальный поиск



В социальной сети Pinterest миллионы людей расшаривают миллиарды картинок (не дополняя их текстовыми пояснениями). Поэтому для создателей сети - жизненно важно знать смысл этих картинок, чтобы дать пользователям возможность искать нужные картинки и чтобы показывать им релевантную рекламу. Для этого Pinterest купил стартап VisualGraph, который разработал технологию распознавания изображений с помощью машинного обучения. В стартапе работало всего 2 человека (на фото), теперь они стали разработчиками в Pinterest.


2013. Yahoo купила стартап LookFlow ради компьютерного зрения для Flickr



Yahoo владеет популярным сервисом для хранения и расшаривания фотографий Flickr. Поэтому им просто необходим ИИ для поиска и организации картинок. Для этого Yahoo купила стартап LookFlow, разрабатывающий технологию распознавания изображений. В стартапе работает два человека: Бобби Джарос (на фото) и Саймон Осиндеро.


2013. Google запустил интеллектуальный поиск фоток в своей социальной сети



Поиск картинок Google Images до сих пор оперирует не столько изображениями, сколько страницами, на которых эти изображения размещены. На этих страничках есть подписи к картинкам, окружающий текст. И это работает. Но в социальной сети Google+ у большинства фоток нет никаких подписей и текста. А пользователям было бы удобно искать фотки по ключевым словам. Поэтому, в Google взяли ту самую технологию для тренировки нейросетей, которая недавно распознавала кошек на Youtube и натренировали нейросеть на распознавание 2000 объектов (наиболее часто-встречающихся тегов).


2012. Поиск Google начинает оперировать знаниями, а не только словами


До сих пор поисковик Google оперировал только словами, фразами, предложениями, текстовыми страницами. Он находил нужные страницы по вхождению нужных слов, независимо от смысла этих слов. В большинстве случаев это работает, но иногда - качество поиска оставляет желать лучшего. Чтобы повысить качество поиска Google создал Knowledge Graph - базу знаний из объектов (знаменитых людей, книг, фильмов, городов, ресторанов, событий ...), связанных друг с другом в одну сеть. Вы уже можете видеть карточки объектов из этой базы справа в поиске, погуглив какую-нибудь знаменитость. Но идея не только в том, чтобы предоставить быструю выжимку знаний о конкретном объекте, но и в том, чтобы понять каждый запрос пользователя на уровне объектов, а не только слов.