Компания Runway, запустила стартап в области генеративного ИИ под названием Gen-1. Представленная модель ИИ может преобразовывать существующие видео в новые, применяя любой стиль, заданный текстовой подсказкой или эталонным изображением. Gen-1 может изменить визуальный стиль существующих видеороликов и фильмов.
Runway Research уже несколько лет занимается разработкой программного обеспечения для редактирования видео на основе искусственного интеллекта. Gen-1 представляет собой новый старт для Runway.
Он следует за несколькими моделями преобразования текста в видео, представленными в конце 2022 года, включая Make-a-Video от Meta и Phenaki от Google, обе из которых могут создавать очень короткие видеоклипы с нуля.
В демонстрационном ролике, размещенном на своем веб-сайте, Runway показывает, как ее программное обеспечение под названием Gen-1 может превращать кадры с людьми на улице в пластилиновых кукол, а книги сложенные на столе в ночной городской пейзаж.
Gen-1 может превратить любое видео в увлекательный сюжет используя пять режимов настройки.
С их помощью можно не только изменить стиль изображения, но и превратить простые объекты в полностью стилизованные и анимированные рендеры, а не текстурированные рендеры в реалистичные выходные данные, применив входное изображение или подсказку.
Например вот в такие:
Runway надеется, что Gen-1 сделает для видео то же, что Stable Diffusion сделал для изображений.
«Мы наблюдаем большой взрыв моделей создания изображений. Я искренне верю, что 2023 год станет годом видео», — говорит генеральный директор и соучредитель Runway Кристобаль Валенсуэла.
В чем плюсы
В отличие от Meta и Google, Runway построила свою модель ориентируясь на клиентов. «Это одна из первых моделей, которая разрабатывалась в тесном сотрудничестве с сообществом видеопроизводителей», — говорит Валенсуэла. «Это приходит с многолетним пониманием того, как кинематографисты и редакторы визуальных эффектов на самом деле работают над пост-продакшеном».
Системы искусственного интеллекта для синтеза изображений и видео быстро становятся более точными, реалистичными и управляемыми. Gen-1 — это следующий шаг вперед для генеративного ИИ. На сегодняшний день Gen-1 работает в облаке через веб-сайт Runway, и пока доступен для нескольких приглашенных пользователей. Через несколько недель он будет запущен для всех.
Источник: Runway
Понравилась статья? Поделись с друзьями!
