Обработка естественного языка (NLP) для бизнеса

2023. Google открыл Bard AI для всех, добавил его в GMail и Docs



3 месяца назад Google спешно запустил Барда, чтобы не прозевать хайп вокруг ChatGPT, и лишь теперь открывает его для широкой общественности. Бард (пока только на английском) стал доступен в 180 странах (конечно, не включая Россию). Он работает на базе нейросети PaLM 2, которая, предположительно, опережает GPT-4 по количеству параметров (540 млрд). И сразу же Гугл (как и Microsoft) начал встраивать эту языковую нейросеть в свои сервисы. Например, в GMail скоро появится ИИ-помощник для написания писем, в Google Документах можно будет автоматически формировать таблицы, слайды презентаций и писать тексты договоров. В экспериментальном режиме Бард уже работает и в гугло-поиске, появляясь при запросах, требующих логический ответ, а не результаты поиска.


2023. Сбер представил русскоязычный аналог ChatGPT



Команда Sber AI под руководством Татьяны Шавриной открыла (пока очень ограниченный) доступ к GigaChat - русскоязычному аналогу ChatGPT. Он основан на нейросети ruGPT, которая построена на архитектуре GPT от OpenAI и до сих пор считалась лучшей языковой моделью, созданной российскими компаниями. Однако, в случае с языковой нейросетью, - не достаточно скопировать технологии, нужно еще сформировать корпус текстов для ее обучения и масштабировать ее платформу. И здесь, конечно, GigaChat пока очень проигрывает (13 млрд параметров против 175 млрд у GPT3). Кроме того, чисто теоретически, количество текстов/знаний на русском языке на порядки меньше количества текстов/знаний на английском. Но для наполнения ру-сайтов водой, написания рекламных текстов и спам-писем - GigaChat вполне подойдет и сделает это более "грамматично" чем ChatGPT. За счет интеграции с сетью Kandinsky - можно в том же чате генерировать изображения по описанию. Пока все это доступно в закрытой группе Telegram, в которую пускают только избранных.


2023. ChatGPT научился понимать изображения и длинные тексты


Компания OpenAI выпустила новую версию своей нейросети GPT-4. Это большое обновление после GPT-3.5, которая изначально служила движком для популярного чат-бота ChatGPT. Теперь ChatGPT сможет работать не только с языком, но и с изображениями. Например, вы можете попросить его описать то, что изображено на картинке или найти картинку по описанию. Кроме того, в GPT-4 увеличен объем оперативной памяти для хранения текстовой информации (примерно до 50 страниц текста), а значит ChatGPT сможет помнить весь контекст разговора, чтобы давать ответы на его основании. Также, появилась возможность попросить бота имитировать различные личности. Теперь разработчики смогут закладывать точку зрения, стиль общения, тон или метод взаимодействия с самого начала. Кроме того, GPT-4 стал более многоязычен. Он умеет отвечать на тысячи вопросов с множественным выбором с высокой точностью на 26 языках, от итальянского до украинского и корейского.

2023. Google представил собственного конкурета ChatGPT - чат-бота Bard



Google анонсировала запуск чат-бота Bard — конкурента ChatGPT. По словам разработчиков, Bard «совмещает в себе обширные знания, доступные целому миру, а также ум и креативность языковых моделей Google». Его можно использовать, чтобы разобраться в сложных явлениях и научных открытиях, найти источники вдохновения или почитать о лучших нападающих в футболе, а потом найти упражнения с мячом. Bard работает на основе «облегчённой» версии нейросети компании LaMDA. Она требует меньше вычислительных мощностей и потому будет лучше работать у большего числа пользователей. Это позволит Google собрать необходимые отзывы на продукт, чтобы потом проанализировать их вместе с рецензиями от внутренних тестировщиков.


2023. Microsoft инвестирует $10 млрд в ChatGPT



Microsoft объявила о новых многолетних инвестициях в разработчика чат-бота с искусственным интеллектом ChatGPT — OpenAI. Microsoft уже инвестировала в OpenAI $1 млрд в 2019 году. Эти инвестиции сделали Microsoft «эксклюзивным» поставщиком услуг облачных вычислений для OpenAI. Также, Microsoft заявила, что облачный сервис Azure продолжит выступать в качестве эксклюзивного поставщика OpenAI. «Мы сформировали наше партнерство с OpenAI вокруг общего стремления ответственно продвигать передовые исследования в области ИИ и демократизировать ИИ как новую технологическую платформу», — сказал генеральный директор Microsoft Сатья Наделла. Сэм Альтман, генеральный директор OpenAI добавил, что компания рада «продолжить наши независимые исследования и работать над созданием продвинутого ИИ, который принесет пользу всем».


2023. OpenAI открыла приём заявок на доступ к платному инструменту ChatGPT Professional



По слухам, OpenAI тратит миллионы долларов в месяц, чтобы сохранять бесплатный доступ к публичному ИИ чату ChatGPT. Теперь они решили как-то окупить эту халяву. В официальном блоге OpenAI написали, что «компания задумалась о монетизации» ChatGPT, так как это способ повысить «жизнеспособность» продукта в долгосрочной перспективе. Деталей о сроках запуска и стоимости компания не привела. Вместо этого попросила пользователей рассказать, какая ежемесячная цена их устроит, а какую они считают неподъёмной. А также уточнить, какая цена была бы слишком низкой и заставила бы их усомниться в качестве продукта. Разработчик обещает, что платная версия будет быстрее отвечать на запросы и сможет давать «как минимум» в два раза больше ответов в день, чем общедоступная версия. Часть отзывов он планирует собрать в ходе небольших 15-минутных звонков.


2022. Нейросеть GPT-3.5 - улучшила человечность генерируемых текстов



Компания OpenAI представила обновление своей NLP-нейросети для обработки языка GPT-3.5, а также чат-бота ChatGPT, работающего на этом алгоритме. GPT-3.5 – это существенно улучшенная версия GPT-3. Как и GPT-3, ее учили тому, как связаны между собой предложения в тексте, слова в предложении и части слова, с помощью больших объемов контента из интернета, в частности, на статьях из «Википедии», постах в социальных сетях и интернет-новостях. Чтобы протестировать, на что способна новая версия алгоритма, нужно иметь аккаунт OpenAI. Компания открыла доступ к чат-боту, а также к Playground: сайту, где пользователи могут бесплатно тестировать ее AI-решения. Эта технология доступна и для коммерческого использования, но за деньги.


2022. Яндекс запустил ИИ генератор текстов для интернет-магазинов и рекламы



Яндекс запустил онлайн генератор текстов Балабоба. Пользователю можно написать одно-два слова на русском или английском языках и выбрать один из стилей — и Балабоба создаст осмысленный текст на любую тему, похожий на тексты из интернета, на которых училась модель. Например, таким образом можно генерировать описание для товаров в интернет-магазине, создать текст для рекламы и т. п. Сервис генерирует тексты с помощью языковой модели Яндекса YaLM, которая решает задачи, связанные с обработкой естественного языка. Например, модели YaLM помогают Алисе поддерживать беседу, определяют темы вопросов в «Кью», улучшают описания заказов на «Услугах», генерируют карточки для быстрых ответов в поисковике. Также языковые модели YaLM ищут ключевые моменты видео, генерируют рекламные объявления и описания сайтов (сниппеты).


2022. Яндекс выложил GPT-подобную нейросеть YaLM 100B в свободный доступ



Яндекс выложил в свободный доступ свою самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. Модель и дополнительные материалы опубликованы на Гитхабе под лицензией Apache 2.0, которая допускает применение как в исследовательских, так и в коммерческих проектах. Сейчас это самая большая в мире GPT-подобная нейросеть в свободном доступе как для английского, так и для русского языков.


2022. Google представил обновленную языковую модель LaMDA 2



LaMDA (Language Model for Dialogue Applications) - это продвинутая нейросетевая разговорная модель. Google называет технологию прорывом в понимании естественного языка. Она создана и обучена для непринужденных и конструктивных разговоров на самые разные темы, а не коротких шаблонных ответов на конкретные вопросы по строго определенным сценариям. Алгоритм способен переключаться с одной темы на другую, как это обычно делают люди, но пока не могут машины. Пока что LaMDA работает только с текстом, но конечная цель состоит в создании универсальной системы, способной также понимать изображения и аудио. Компания планирует внедрить этот алгоритм в Google Assistant и Поиск. В последнем случае LaMDA должен заменить, либо дополнить другую схожую технологию BERT.


2021. Microsoft внедрит в облако Azure нейросеть GPT-3 и даст компаниям доступ к языковым моделям



Microsoft анонсировала OpenAI Service на основе своей облачной платформы Azure. Сервис можно использовать для разных задач — от обработки клиентских запросов и обобщения больших текстов до написания кода или генерации ответов на вопросы. В качестве примера Microsoft привела спортивную франшизу, которая разрабатывает приложение для взаимодействия с фанатами во время матчей. С помощью GPT-3 поток комментариев можно превратить в короткие подборки самых ярких моментов игры или сгенерировать оригинальный контент для соцсетей. Microsoft пообещала предоставить клиентам инструменты для фильтрации и модерации запросов и ответов пользователей. В мае компания интегрировала алгоритм GPT-3 в платформу low-code разработки Power Apps для упрощённого написания программного кода.


2021. Microsoft купила разработчика ИИ для модерации контента



Microsoft купила компанию Two Hat - разработчика решения для модерации контента в различных онлайн-сообществах. Компания использует искусственный интеллект для классификации и фильтрации миллиардов взаимодействий между людьми, анализируя текстовые сообщения, изображения, видео, имена пользователей и др. Microsoft и Two Hat являются давними партнерами: разработки Two Hat используются софтверный гигант для контроля за поведением игроков в инфраструктуре Xbox. Предполагается, что Two Hat позволит Microsoft улучшить модерацию контента в играх и сервисах. Кроме того, производитель Windows собирается распространить технологии на потребительские сервисы и клиентские сообщества.


2021. Языковые модели от SberDevices стали лучшими в мире по пониманию текстов на русском языке



Разработанная SberDevices текстовая модель finetune стала лучшей по пониманию текста в соответствии с оценкой главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE, уступая по точности только человеку. Оценка общего понимания языка начинается в рейтинге с набора тестов, отражающих различные языковые явления — диагностического датасета. Он отражает лингвистические феномены языка и показывает, насколько модель ruRoberta-large finetune понимает те или иные его особенности. Высокий скор (LiDiRus) говорит о том, что модель не просто запомнила задания или угадывает результат, а выучивает особенности и осваивает разнообразие феноменов русского языка.


2021. Яндекс разработал языковую модель для генерации текстов



Яндекс представил нейросетевой языковой алгоритм генерации текстов YaLM и сервис «Зелибоба» на его основе. Сервис умеет подбирать следующее слово в предложении и благодаря этому писать небольшие тексты на основе нескольких слов, введенных пользователем. Языковая модель, лежащая в основе «Зелибобы», была обучена на нескольких терабайтах русскоязычных текстов, в том числе статьях Википедии, новостных заметках и постах в социальных сетях. Через «Зелибобу» можно было создавать тексты в разных стилях: новостной заметки, анекдота, рекламного слогана, короткой истории и других.


2020. В Google Cloud появились специализированные ИИ-сервисы для медицины



Google представил два новых когнитивных API-сервиса на своей облачной платформе: Healthcare Natural Language API и AutoML Entity Extraction for Healthcare. Первый предназначен для извлечения данных из неструктурированных медицинских текстов/документов. Второй - для простого создания моделей машинного обучения для извлечения именованных сущностей из медицинских документов и записей диалогов с пациентами. Оба сервис предоставляют API для интеграции в медицинские информационные системы.


2020. Одноклассники предложили бизнесу сервис для анализа текстов, фотографий и видео с помощью нейросетей



Соцсеть Одноклассники предтавила автоматизированную платформу Робби для анализа материалов на сайте с помощью нейросетей и технологии big data. Сервис распознаёт текст, объекты на фотографиях, видео и GIF-анимации и умеет находить дубли, ссылки, телефонные номера на изображениях, спам в текстах и так далее. Например, интернет-магазины могут с помощью «Робби» автоматически обрабатывать отзывы клиентов, а видеосервисы — определять в роликах и стримах запрещённые материалы и рекламу. Робби работает через API и подойдёт как для крупного бизнеса, так и для небольших компаний, отмечают в соцсети. Стоимость обработки контента с помощью платформы — от 10 тысяч рублей в месяц.


2019. Компания Айтеко разработала чат-бота для общения с клиентами



Центр когнитивных технологий Айтеко создал чат-бота для контакт-центров, сервисных компаний, служб продаж. С помощью него клиенты могут оформить заказ товара или услуги, оставить сервисную заявку, получить интересующую информацию. По комплексному сценарию чат-бот может собирать первичные данные клиента и затем переводить его на оператора. Решение может использоваться как самостоятельный продукт и интегрироваться в сложные комплексные сценарии обработки входящих сообщений. Интеграция с внешними сервисами делает доступным обмен текстовыми сообщениями в привычном пользователю интерфейсе, например, в корпоративном мессенджере; общение происходит на привычном для пользователя естественном языке. Чат-бот реализован на базе собственной разработки компании «Айтеко» в области искусственного интеллекта – решения Smartsel.


2017. Ozlo превратился в API для разговорных интерфейсов



Помните нового виртуального ассистента Ozlo? Он передумал быть виртуальным ассистентом. Вместо этого, он решил помочь разработчикам быстро создавать разговорные интерфейсы к своим приложениям (за денюжку, конечно). Ozlo предлагает свою модель мира, которая состоит из 2 млрд фактов и к ней 3 API интерфейса: Data API - для пополнения/изменения модели мира (графа знаний), Intent API - для понимания вопросов пользователей (преобразования слов в смысл), и Converse API - для формулирования ответа (преобразования смысла в слова). Пример работы Ozlo виден на картинке. Исходя из вопроса "Можно ли завалить толпой в реторан Gravity и пожрать там устриц", он определил, что в данном ресторане подают устриц и приветствуют групповые посиделки и сформулировал ответ.


2016. Google DeepMind научился говорить



Большинство популярных синтезаторов речи, например, в Siri, Cortana или Google Translate - строят речь из фрагментов записей настоящего человеческого голоса. Этот метод даёт неплохие результаты, но требует наличия в базе данных записей абсолютно всех звуков речи для каждого используемого голоса. Команда Google DeepMind представила технологию WaveNet, которая требует немного исходного материала, наговорённого человеком, и с помощью глубинного обучения нейросети позволяет генерировать любые слова для данного тембра голоса. Лингвистические правила и рекомендации позволяют WaveNet формировать осмысленную речь (т.е. ИИ понимает смысл того, что он говорит). Однако, разработчики говорят, что в ближайшей перспективе внедрение этого метода в Google Assistant вряд ли возможно из-за огромного объёма требуемых вычислений (WaveNet для синтезирования человеческой речи обрабатывает каждую секунду 16000 образцов аудио).


2016. Живой пример робота, пишущего тексты на естественном языке



Французская компания Yseop специализируется на автоматическом формировании новостей, корпоративных отчетов, писем клиентам. На сайте компании можно поиграться с живым примером: это финансовая статья, которая обновляется автоматически каждый раз, когда вы меняете исходные данные в боковой панели. Первоначально в статье рассказывается о «существенной позитивной динамике», но если ввести более низкий показатель, то текст меняется, например, на «резкое снижение».


2015. Narrative Science: к 2025 году 90% новостей будут писать роботы


Американская компания Narrative Science является пионером рынка автоматического написания текстов. Их платформа на базе искусственного интеллекта Quill находит закономерности в исходных больших данных и формирует тексты естественным (английским) языком. Конечно, это шаблонные тексты, но нейронная сеть обучена подбирать правильные шаблоны предложений для соответствующих исходных данных. Чаще всего это заметки небольшого объема, которые отражают колебания цен на акции или посвящены схожей тематике. Главным конкурентом Narrative Science является еще одна американская компания Automated Insights, чья платформа Wordsmith умеет перебирать таблицы, статистические данные и комментарии и трансформировать полученную информацию в небольшую заметку.


2015. Технология машинного перевода ABBYY Compreno пытается понять естественный язык



Как известно, самый популярный в мире автопереводчик Google Translate работает на статистическом принципе: он обучается на миллионах готовых переводов и каждый новый текст переводит на основе сформированных на опыте паттернов. Иногда получается смешно, но в целом это работает. А вот конкурирующая фирма - российская компания Abbyy не стала искать легких путей. Она уже более 20 лет работает над технологией Compreno, основой которой является создание синтаксической модели языка и понимание смысла текста. Т.е. каждое предложение Compreno разбивает на объекты и, определяя связи между ними, сначала формирует универсальный перевод на язык смысла, а затем уже выражает этот смысл на другом языке.


2014. IBM открыла возможности Watson для сторонних приложений


IBM запустила платформу Watson Developer Cloud, которая предоставляет разработчикам приложений использовать когнитивные возможности этого искусственного интеллекта. Реализовано это через API-интерфейсы на облачной платформе IBM BlueMix. В частности, доступны такие функции, как определение языка, машинный перевод, анализ текста, визуализация данных, а также - главная функция Watson - ответы на вопросы, заданные естественным языком (это то, для чего Watson изначально был создан). Т.е. можно попросить Watson изучить текстовые материалы по определенной теме, задавать ему вопросы и получать короткие ответы (требующие знаний, а не логического мышления). Правда, пока Watson по прежнему может отвечать на вопросы только на английском.


2013. Видео: Как Siri получила свой голос


Как известно, изначально голосовые способности Apple Siri (распознавание и синтез речи) были реализованы компанией Nuance. В этом ролике вы можете увидеть, как создавался голос Siri (это заняло более 4 месяцев).


2013. Google покупает стартап для обработки новостей за 30 млн


Только месяц назад Yahoo купила приложение Summly, которое автоматически извлекает основной смысл из новостей и формирует короткое саммари, а теперь Google покупает подобный стартап Wavii за примерно такую же сумму - $30 млн. Причем, за покупку этого стартапа Google серьезно конкурировал с Apple. По заявлениям представителей Google, технология Wavii будет использована в основном для Knowledge Graph - это база знаний, собранных их различных источников, используемая Google для повышения качества своего поиска. Карточки из этой базы знаний вы можете увидеть справа при поиске, например, какого-то знаменитого человека. Команда Wavii насчитывает 25 человек, а размер инвестиций в стартап достигал $2 млн.


2013. Yahoo! купила приложение для извлечения смысла новостей за $30 млн


Yahoo! купила мобильное приложение для чтения новостей Summly за $30 млн. Приложение это было создано пару лет назад 15-летним английским парнем Ником Д'Алоизио. Фишка Summly в том, что оно  из длинного текста каждой новости автоматически формирует саммари, содержащее наиболее важную информацию. Размер саммари - до 400 символов (чуть больше сообщения в твиттере). Для этого приложение выделяет в тексте ключевые предложения, передающие главную идею. По словам Ника, приложение использует генетические алгоритмы, которые имитируют мышление человека. Однако, эти алгоритмы придумал не Ник - они были приобретены у компании SRI - той самой, которая создала Siri и продала ее Apple.


2013. Amazon купила лучший синтезатор речи IVONA


Amazon купила польскую компанию IVONA, которая известна своей системой воспроизведения речи. IVONA поддерживает 17 языков и 44 различных голоса. На сайте компании вы можете ввести произвольный отрывок текста и система произнесет его с отличным качеством. Amazon уже некоторое время использовала технологию IVONA в читалках Kindle Fire для воспроизведения книг, но по слухам, Amazon работает над голосовым помощником аля Siri.


2012. Поиск Google начинает оперировать знаниями, а не только словами


До сих пор поисковик Google оперировал только словами, фразами, предложениями, текстовыми страницами. Он находил нужные страницы по вхождению нужных слов, независимо от смысла этих слов. В большинстве случаев это работает, но иногда - качество поиска оставляет желать лучшего. Чтобы повысить качество поиска Google создал Knowledge Graph - базу знаний из объектов (знаменитых людей, книг, фильмов, городов, ресторанов, событий ...), связанных друг с другом в одну сеть. Вы уже можете видеть карточки объектов из этой базы справа в поиске, погуглив какую-нибудь знаменитость. Но идея не только в том, чтобы предоставить быструю выжимку знаний о конкретном объекте, но и в том, чтобы понять каждый запрос пользователя на уровне объектов, а не только слов.


2011. Искусственный интеллект IBM Watson победил в телевикторине Jeopardy


С момента победы суперкомпьютера DeepBlue над чемпионом мира по шахматам Гарри Каспаровым в 1997 году, IBM искала новый способ демонстрации своей технологической мощи (и повышения рыночной стоимости). Таким способом стало создание суперкомпьютера Watson, который должен был победить чемпионов в телевикторине Jeopardy! Суть этой игры в том, что участники отвечают на вопросы, требующие скорее знаний о каких-то фактах, чем логического мышления. И Watson победил. Возможно вам покажется, что в этом нет ничего удивительного. Довольно просто загрузить в память компьютера миллионы фактов. Тем более, если этот компьютер - на самом деле кластер из 90 мощнейших серверов. Однако, основная сложность для компьютера - понять вопрос, заданный на естественном языке (в т.ч. с юмором или игрой слов) и подобрать релевантный ответ.