В начале июня 2024 года компания Luma AI представила новую нейросеть, получившую название Dream Machine, которая может создавать реалистичные пятисекундные видео из фотографий и текста. Правда, в настоящее время из-за перегрузки сервис работает с перебоями. Подробнее о том, как «оживить» фотографии и как пользоваться сервисом, — в материале «Известий».
Dream Machine: что за сервис, что умеет делать
О простых изображениях, которые можно создать с помощью приложений с искусственным интеллектом (ИИ), знает практически каждый активный интернет-пользователь. Но создание качественных видео до сих пор оставалось недостижимой целью. ИИ-видео можно было легко определить по отсутствию мимики у персонажей, лишним частям тела, ряби или резкому изменению расположения объекта в кадре. Ролики казались будто склеенными в один видеоряд из разных похожих картинок.
Однако нейросеть Dream Machine, созданная командой Luma AI и вышедшая в свет в июне 2024 года, по качеству созданного видео и дополнительным опциям опередила многие другие нейросети. Так, особенно по душе пользователям пришлась возможность «оживить» старые семейные фотографии. В интернете появились видео, где люди со старых семейных фотографий стали двигаться, а картинка при этом осталась качественной и плавной, а герои не менялись от кадра к кадру.
Dream Machine, по словам самих разработчиков, может создавать точные, последовательные и насыщенные событиями ролики с высокой скоростью: «120 кадров за 120 секунд». Разработчики также добавляют, что Dream Machine обучена понимать, как двигаются и взаимодействуют люди и животные с окружающим миром. Именно из-за этого она может создавать такие реалистичные ролики, где объекты двигаются, как настоящие.
Проверить эти утверждения на практике редакции не удалось: из-за высокого спроса сервис работает с перебоями и фактически не функционирует в триал-режиме.
В целом, по утверждениям разработчиков, нейросеть может:
— создавать реалистичные видео длительностью 5 секунд (кинематографичные, драматичные и с плавными движениями);
— превращать в видео фотографии и текст (запрос дается на английском языке);
— имитировать движение камеры.
Ограничения нейросети Dream Machine
Как и многие современные нейросети, Dream Machine также имеет свои недостатки. Среди них разработчики отмечают четыре:
— трансформация объектов. Нейросеть не всегда может создавать объекты без дефектов. В качестве примера создатели программы приводят движущуюся машину, которая преображается при развороте: там, где был задний бампер, вдруг появляется передний;
— движение. ИИ может также перепутать действие. Собака, вместо того чтобы бежать, может зависнуть в воздухе;
— текст. Текст на видео всё также остается большой проблемой нейросетей. Dream Machine может создать подобие текста на ролике, но он будет либо нечитаемым, либо написан с ошибками;
— так называемая проблема Януса (двуликий бог в древнеримской мифологии. — «Известия»). В качестве примера этой проблемы разработчики показывают видео, где у белого медведя во время разворота вдруг вырастает вторая голова.
Все эти проблемы не новы, для их устранения нужно более четко описывать свой запрос.
Как пользоваться Dream Machine
Формально нейросеть открыта всем желающим. Чтобы создать или «оживить» картинку, нужно зарегистрироваться на сайте. Под одним аккаунтом можно создавать до 30 бесплатных видео в месяц и не больше пяти за один день. Если этого недостаточно, есть платная подписка. В месяц услуги сервиса будут стоить около 2 тыс. рублей ($23,9).
Dream Machine предлагает несколько способов создания видео и «оживления» фото:
— текстовое описание. Для этого следует очень подробно рассказать нейросети, что должно быть в кадре, действие, обрисовать атмосферу и эмоции. Также следует избегать использование сложных текстовых конструкций и жаргонов;
— текстовое описание с подсказками. Данный способ следует использовать, если вы не уверены, как описать всё, что вы хотите видеть в кадре. В таком случае нейросеть додумает всё за вас;
— изображение в видео. Можно загружать как свои фотографии, так и созданные при помощи нейросетей. При этом лучше также использовать текстовое описание, чтобы программа смогла сделать более качественное видео.