Российские ИИ нейросети для генерации видео

2023. Нейросеть Kandinsky научилась генерировать видео по тексту



Сбер представил нейросеть Kandinsky Video, способную создавать небольшие ролики по текстовому описанию. Бизнесы могут использовать эту возможность для создания контента для соцсетей или корпоративных видео. Алгоритм генерирует видеоряд продолжительностью до 8 секунд с частотой 30 кадров в секунду с движением как объекта, так и фона. Это отличает сгенерированные нейросетью видео от анимационных роликов, в которых динамика достигается за счёт моделирования полёта камеры относительно статичной сцены. В настоящее время Kandinsky Video может создавать видео с разрешением 512 × 512 пикселей и разным соотношением сторон. Для обучения алгоритма использовался датасет из более чем 300 тыс. пар «текст-видео». Сам же процесс генерации ролика занимает до 3 минут. Пользователи новой версии Kandinsky 3.0 также могут генерировать ролики по текстовому описанию в режиме анимации.


2023. Нейросеть Яндекса научилась генерировать короткие видео в Шедевруме



Яндекс добавил ИИ-функцию создания видео в приложении Шедеврум, которое в реальном времени создает короткометражные видеофрагменты на основе запросов пользователей. Эти мини-видео могут быть использованы как основа для различных творческих проектов, включая музыкальные клипы, анимацию и даже динамичные аватары в социальных медиа. Для создания видео в Шедевруме необходимо в текстовой форме описать желаемый сценарий. Приложение предоставляет четыре опции начального кадра и разнообразные анимационные эффекты для создания движения. Искусственная нейронная сеть использует выбранное изображение как отправную точку, создает его альтернативные версии и синтезирует их с выбранным эффектом. В наличии семь эффектов: зум, таймлапс, полет, панорама, вращение, подъем и морфинг. Для генерации будущих кадров видео Шедеврум применяет метод каскадной диффузии. Эта технология позволяет создавать индивидуальные изображения, начиная с низкого разрешения и постепенно увеличивая его, добавляя детали.


2021. Сервис для создания виртуальных персонажей Malivar привлёк 5 млн рублей


Сервис Malivar, который занимается созданием виртуальных персонажей на основе нейросетей и компьютерной графики, привлек 5 млн рублей от ФРИИ. С помощью сервиса можно создавать оригинальный видеоконтент для маркетинговых кампаний с нужными персонажами (например, с известными историческими деятелями или звездами шоу-бизнеса, если есть разрешение). Персонажей и видео можно создавать прямо в браузере. Сервис работает по модели подписок, а одно 10-30 минутное видео с участием виртуального образа стоит от 3690 до 9990 рублей в месяц. Компания уже сотрудничает с Mercedes-Benz Fashion Week Russiа, AliExpress, РБК и Газпромбанком.

2021. Сбер запустил сервис для создания виртуальных аватаров в презентациях и видео



Сбер запустил платформу Visper для создания презентационных, обучающих, новостных видеороликов для бизнеса с использованием виртуальных персонажей. Для создания ролика вы закачиваете свой контент, выбираете виртуального персонажа (как в игре Sims) и монтируете видеоролик, добавляя в определенные места персонажа, который будет говорить заданные вами реплики и при этом делать заданные вами жесты. Получается немного неестественно, но все равно прикольно. Сбер планирует добавить на платформу функцию автоматического подбора жестов — пользователю нужно будет загрузить текст и проверить, правильно ли персонаж обработал запрос. На данный момент (и до конца июня) сервис бесплатный. Примерно такой же сервис в прошлом году запустила Mail.ru.


2020. Mail.ru запустила бесплатный сервис для создания виртуальных ведущих на основе ИИ



Хотите создавать корпоративные новости или маркетинговые ролики, но у вас нет нормального диктора/ведущей? Новый сервис Диктор Mail.ru может решить это проблему. Чтобы сделать новостной видеоролик, нужно всего лишь загрузить текст (его прочитает ведущая) и, если необходимо, изображения, музыку, титры и ссылки. Вы можете выбрать внешность диктора из предложенных вариантов и оформление студии (например, в цветах компании). Речь и мимика ведущих реалистичны (утверждают в компании). Например, читая новости, они расставляют смысловые акценты и воспроизводят эмоции. Сервис бесплатный для пользователей.


2019. Сбербанк купил знаменитого разработчика систем распознавания голоса



Сбербанк купил 51% акций компании Центр Речевых Технологий, разрабатывающей технологии анализа и синтеза речи, а также распознавания лиц. До этого разработчик полностью принадлежал Газпромбанку. У Сбербанка уже есть опыт использования разработок ЦРТ в своих продуктах. В частности, на их основе была создана цифровая телеведущая Елена, которую банк представил в апреле 2019 г. До этого в июне 2017 г. Сбербанк начал внедрение разработок компании в собственной биометрической системе защиты информации. Технологии ЦРТ позволяют идентифицировать клиентов банка по голосу, сравнивая его с заранее записанным образцом.