Российские ИИ нейросети для генерации видео

2024. Kandinsky 4.0 улучшил генерацию видео со звуком


Сбер представил обновленную модель генерации изображений Kandinsky 4.0 - нейросеть нового поколения для создания реалистичных видеороликов по текстовому описанию или стартовому кадру, а также аудио сопровождения для сгенерированного видеоролика. Теперь модель генерирует видеоряд продолжительностью до 12 секунд в разрешении HD (1280×720) по любому текстовому описанию или произвольному стартовому кадру. С помощью модели можно создавать видео с разным соотношением сторон под любые пользовательские и продуктовые потребности. Kandinsky 4.0 включает четыре модели: три для генерации видео (основная модель T2V, быстрая версия T2V Flash и модель I2V) и одну модель для генерации аудио по видеоряду (модель V2A). Ниже мы приводим описание каждой модели.


2024. Яндекс Шедеврум научился создавать короткие видеоклипы



Пользователи сервиса Шедеврум теперь могут создавать клипы из видео, изображений и Фильтрумов, сгенерированных с помощью нейросети YandexART. Кроме того, к клипам и другим видео, созданным в «Шедевруме», теперь можно добавлять отрывки треков из «Яндекс Музыки». Новые возможности будут полезны маркетологам для создания привлекательного контента для социальных сетей. Для того чтобы создать клип в «Шедевруме», нужно выбрать несколько сгенерированных YandexART видео или картинок, затем смонтировать их во встроенном редакторе и добавить отрывок из песни. Продолжительность клипа может быть не больше двух минут.


2023. Нейросеть Kandinsky научилась генерировать видео по тексту



Сбер представил нейросеть Kandinsky Video, способную создавать небольшие ролики по текстовому описанию. Бизнесы могут использовать эту возможность для создания контента для соцсетей или корпоративных видео. Алгоритм генерирует видеоряд продолжительностью до 8 секунд с частотой 30 кадров в секунду с движением как объекта, так и фона. Это отличает сгенерированные нейросетью видео от анимационных роликов, в которых динамика достигается за счёт моделирования полёта камеры относительно статичной сцены. В настоящее время Kandinsky Video может создавать видео с разрешением 512 × 512 пикселей и разным соотношением сторон. Для обучения алгоритма использовался датасет из более чем 300 тыс. пар «текст-видео». Сам же процесс генерации ролика занимает до 3 минут. Пользователи новой версии Kandinsky 3.0 также могут генерировать ролики по текстовому описанию в режиме анимации.


2023. Нейросеть Яндекса научилась генерировать короткие видео в Шедевруме



Яндекс добавил ИИ-функцию создания видео в приложении Шедеврум, которое в реальном времени создает короткометражные видеофрагменты на основе запросов пользователей. Эти мини-видео могут быть использованы как основа для различных творческих проектов, включая музыкальные клипы, анимацию и даже динамичные аватары в социальных медиа. Для создания видео в Шедевруме необходимо в текстовой форме описать желаемый сценарий. Приложение предоставляет четыре опции начального кадра и разнообразные анимационные эффекты для создания движения. Искусственная нейронная сеть использует выбранное изображение как отправную точку, создает его альтернативные версии и синтезирует их с выбранным эффектом. В наличии семь эффектов: зум, таймлапс, полет, панорама, вращение, подъем и морфинг. Для генерации будущих кадров видео Шедеврум применяет метод каскадной диффузии. Эта технология позволяет создавать индивидуальные изображения, начиная с низкого разрешения и постепенно увеличивая его, добавляя детали.


2021. Сервис для создания виртуальных персонажей Malivar привлёк 5 млн рублей


Сервис Malivar, который занимается созданием виртуальных персонажей на основе нейросетей и компьютерной графики, привлек 5 млн рублей от ФРИИ. С помощью сервиса можно создавать оригинальный видеоконтент для маркетинговых кампаний с нужными персонажами (например, с известными историческими деятелями или звездами шоу-бизнеса, если есть разрешение). Персонажей и видео можно создавать прямо в браузере. Сервис работает по модели подписок, а одно 10-30 минутное видео с участием виртуального образа стоит от 3690 до 9990 рублей в месяц. Компания уже сотрудничает с Mercedes-Benz Fashion Week Russiа, AliExpress, РБК и Газпромбанком.


2021. Сбер запустил сервис для создания виртуальных аватаров в презентациях и видео



Сбер запустил платформу Visper для создания презентационных, обучающих, новостных видеороликов для бизнеса с использованием виртуальных персонажей. Для создания ролика вы закачиваете свой контент, выбираете виртуального персонажа (как в игре Sims) и монтируете видеоролик, добавляя в определенные места персонажа, который будет говорить заданные вами реплики и при этом делать заданные вами жесты. Получается немного неестественно, но все равно прикольно. Сбер планирует добавить на платформу функцию автоматического подбора жестов — пользователю нужно будет загрузить текст и проверить, правильно ли персонаж обработал запрос. На данный момент (и до конца июня) сервис бесплатный. Примерно такой же сервис в прошлом году запустила Mail.ru.


2020. Mail.ru запустила бесплатный сервис для создания виртуальных ведущих на основе ИИ



Хотите создавать корпоративные новости или маркетинговые ролики, но у вас нет нормального диктора/ведущей? Новый сервис Диктор Mail.ru может решить это проблему. Чтобы сделать новостной видеоролик, нужно всего лишь загрузить текст (его прочитает ведущая) и, если необходимо, изображения, музыку, титры и ссылки. Вы можете выбрать внешность диктора из предложенных вариантов и оформление студии (например, в цветах компании). Речь и мимика ведущих реалистичны (утверждают в компании). Например, читая новости, они расставляют смысловые акценты и воспроизводят эмоции. Сервис бесплатный для пользователей.


2019. Сбербанк купил знаменитого разработчика систем распознавания голоса



Сбербанк купил 51% акций компании Центр Речевых Технологий, разрабатывающей технологии анализа и синтеза речи, а также распознавания лиц. До этого разработчик полностью принадлежал Газпромбанку. У Сбербанка уже есть опыт использования разработок ЦРТ в своих продуктах. В частности, на их основе была создана цифровая телеведущая Елена, которую банк представил в апреле 2019 г. До этого в июне 2017 г. Сбербанк начал внедрение разработок компании в собственной биометрической системе защиты информации. Технологии ЦРТ позволяют идентифицировать клиентов банка по голосу, сравнивая его с заранее записанным образцом.