Генерация видео с помощью ИИ

2023. Представлена нейросеть Gen-2, которая создает видеоклипы по текстовому запросу пользователя


Компания Runway, которая участвовала в создании популярного генератора изображений Stable Diffusion, представила новую нейросеть Gen-2, которая предлагает создавать видео по текстовому запросу пользователя. Нейросеть на данный момент способна преобразовать текстовое описание в трехсекундный видеоклип, открывая широчайшие возможностей для создателей видеоконтента. Gen-2 не будет с самого начала открыта для широкого доступа из соображений безопасности. Вместо этого пользователи могут получить доступ к революционной технологии искусственного интеллекта через Discord, присоединившись к списку ожидания на сайте Runway.


2022. Google представил нейорсеть для генерации видео по тексту Imagen Video



Буквально через несколько дней, после того, как Meta представила свою нейросеть для генерации видео Make-A-Video, Гугл объявил о разработке собственной аналогичной системы искусственного интеллекта Imagen Video, способной по языковому описанию генерировать видео с разрешением 1280×768 пикселей и частотой 24 кадра в секунду. Инструмент базируется на алгоритме Imagen, являющемся аналогом DALL-E 2 и Stable Diffusion. Генератор картинок использует большую предобученную языковую нейросеть и каскадную диффузную модель, и сочетает в себе «глубокий уровень понимания слов с беспрецедентной степенью фотореализма». Как поясняют исследователи Google, Imagen Video берет текстовое описание и создает 16-кадровый ролик с разрешением 24×48 пикселей и частотой 3 FPS. Затем система масштабирует и «предсказывает» дополнительные изображения.


2022. Meta представила нейросеть, которая по текстовым описаниям генерирует видео



Meta представила нейросеть Make-A-Video, которая по текстовым описаниям генерирует короткие ролики. Она работает на манер популярных нейросетей вроде DALL-E 2 и Midjourney. Нейросеть создаёт ролики без звука и не дольше пяти секунд, однако уже сейчас она может распознавать самые разные запросы. Нейросети пока нет даже в закрытом доступе, а все готовые ролики журналистам предоставила сама Meta. Поэтому пока до конца неясно, насколько на самом деле Make-A-Video хорошо понимает предложения и создаёт на их основе ролики. Пользователи могут подписаться на обновления.

2022. Нейросети Apple достаточно видео длиной 10 секунд, чтобы сделать реалистичный дипфейк



Компания Apple разработала нейронную сеть NeuMan, которая обучается на коротких видео и может генерировать «дипфейк»-видео. Для обучения нейросети достаточно видеоролика длиной 10 секунд, снятого движущейся камерой. Программа извлекает из видео изображение человека и окружающей среды. После этого NeuMan может синтезировать ролики, на которых тот же персонаж будет выполнять разные действия. Например, танцевать, кувыркаться или подпрыгивать. У нового видео меньшая резкость, но в целом они похожи на реальную съемку плохого качества. Основное назначение программы, как указывают разработчики, — это приложения для дополненной реальности. Они также отмечают, что для обучения нейросети используется две модели NeRF (нейрорадиального излучения): первая из них изучает человека, а вторая — фон. С помощью этих моделей нейросеть изучает грубую геометрию человека и сцены. А потом может воссоздать ее в новых формах.


2021. Сервис для создания виртуальных персонажей Malivar привлёк 5 млн рублей


Сервис Malivar, который занимается созданием виртуальных персонажей на основе нейросетей и компьютерной графики, привлек 5 млн рублей от ФРИИ. С помощью сервиса можно создавать оригинальный видеоконтент для маркетинговых кампаний с нужными персонажами (например, с известными историческими деятелями или звездами шоу-бизнеса, если есть разрешение). Персонажей и видео можно создавать прямо в браузере. Сервис работает по модели подписок, а одно 10-30 минутное видео с участием виртуального образа стоит от 3690 до 9990 рублей в месяц. Компания уже сотрудничает с Mercedes-Benz Fashion Week Russiа, AliExpress, РБК и Газпромбанком.


2021. Сбер запустил сервис для создания виртуальных аватаров в презентациях и видео



Сбер запустил платформу Visper для создания презентационных, обучающих, новостных видеороликов для бизнеса с использованием виртуальных персонажей. Для создания ролика вы закачиваете свой контент, выбираете виртуального персонажа (как в игре Sims) и монтируете видеоролик, добавляя в определенные места персонажа, который будет говорить заданные вами реплики и при этом делать заданные вами жесты. Получается немного неестественно, но все равно прикольно. Сбер планирует добавить на платформу функцию автоматического подбора жестов — пользователю нужно будет загрузить текст и проверить, правильно ли персонаж обработал запрос. На данный момент (и до конца июня) сервис бесплатный. Примерно такой же сервис в прошлом году запустила Mail.ru.


2020. Сервис Synthesia создает видеообращения из произвольного текста



Онлайн платформа Synthesia позволяет преобразовать любой текст в видео, где его начитывает виртуальный персонаж. Чтобы воспользоваться новой функцией, введите свой текстовый сценарий и нажмите на кнопку «Генерировать». Видео будет готово через несколько минут, при стандартном объеме это займет 15 минут. Новая платформа доступна на 34 языках, в частности на русском. При стандартной генерации ваш текст читает актриса Анна, помимо нее можно выбрать из еще десяти персонажей. Создатели предлагают использовать новый сервис для организации рабочих презентаций, отправки видео-сообщений и других целей.


2020. Mail.ru запустила бесплатный сервис для создания виртуальных ведущих на основе ИИ



Хотите создавать корпоративные новости или маркетинговые ролики, но у вас нет нормального диктора/ведущей? Новый сервис Диктор Mail.ru может решить это проблему. Чтобы сделать новостной видеоролик, нужно всего лишь загрузить текст (его прочитает ведущая) и, если необходимо, изображения, музыку, титры и ссылки. Вы можете выбрать внешность диктора из предложенных вариантов и оформление студии (например, в цветах компании). Речь и мимика ведущих реалистичны (утверждают в компании). Например, читая новости, они расставляют смысловые акценты и воспроизводят эмоции. Сервис бесплатный для пользователей.


2019. Сбербанк купил знаменитого разработчика систем распознавания голоса



Сбербанк купил 51% акций компании Центр Речевых Технологий, разрабатывающей технологии анализа и синтеза речи, а также распознавания лиц. До этого разработчик полностью принадлежал Газпромбанку. У Сбербанка уже есть опыт использования разработок ЦРТ в своих продуктах. В частности, на их основе была создана цифровая телеведущая Елена, которую банк представил в апреле 2019 г. До этого в июне 2017 г. Сбербанк начал внедрение разработок компании в собственной биометрической системе защиты информации. Технологии ЦРТ позволяют идентифицировать клиентов банка по голосу, сравнивая его с заранее записанным образцом.