Стартап Moonvalley из Лос-Анджелеса представил свою ИИ-модель «3D-aware» публике, сообщив, что она использует гибридный подход, который дает кинематографистам больше контроля, чем другие стандартные модели преобразования текста в видео.
Moonvalley в-первые запустила в бета-версии свою ИИ-модель Marey в марте. А теперь она выпустила ее для всех пользователей интернета на основе подписки. Пользователи могут заплатить 14,99$ за 100 кредитов, 34,99$ за 250 кредитов и 149,99$ для 1000 кредитов. Пользователи могут создавать видео длиной до пяти секунд, что вполне соответствует возможностям других ИИ-моделей.
Moonvalley разрабатывают бывшие сотрудники Google DeepMind, работавшие над собственной моделью генерации видео этой корпорации. Главное отличие новой ИИ-модели Marey от конкурентов – это то, что она полностью обучена на данных с открытой лицензией. Это полностью соответствует желаниям целевой аудитории Moonvalley: кинематографистам, желающим избежать будущих судебных исков из-за контента, созданного ИИ, который может напоминать материалы, защищенные авторским правом.
По словам активного пользователя Marey режиссера Анхеля Мануэля Сото, новая ИИ-модель позволила ему сократить производственные затраты на 20-40% и чувствовать себя более свободно.
Преимущества Marey
У Marey есть понимание физического мира, которое позволяет делать точную имитацию движений, соблюдая законы физики.
Например, видео бизона, бегущего по лугам, можно перевести в мчащийся по той же местности Кадиллак, при этом трава и грязь будут реагировать на движение автомобиля. Или Марей может наложить на актера персонажа, похожего на Джорджа Вашингтона, переведя все, от движений лица актера до мышц предплечий, когда он жестикулирует.
Возможно, более уникальной является поддержка свободного движения камеры со стороны Marey. Разработчик продемонстрировал, как это позволяет вам изменять траекторию камеры с помощью мыши: он интегрировал панорамирование и скольжение зума в видео женщины в поезде в Скалистых горах, просто перетаскивая курсор. Он также отметил, что Marey удалось добиться почти 360-градусного движения камеры и следовать инструкциям, чтобы создавать кадры, как будто они были сняты с ручной камеры или тележки.
Marey также может менять фон видео, позволяя режиссерам начинать с исходных кадров, чтобы выстроить нужную им сцену. Разработчик воспроизвел видео с мужчиной, едущим на мотоцикле по пригородной дороге, которое затем превратилось в того же мужчину, без шлема, едущего на немного другом мотоцикле по загородной трассе.
По словам разработчика, в ближайшие несколько месяцев Moonvalley планирует внедрить новые элементы управления, такие как освещение, глубокие траектории объектов и библиотеки персонажей.
