«Яндекс» первым на российском рынке запустил технологию создания видео за счет нейросети для пользователей. Как сообщили в пресс-службе компании, такая возможность появилась в приложении «Шедеврум»: в ответ на текстовые запросы приложение генерирует краткие ролики. Они в состоянии стать основой для музыкальных клипов, анимации, динамических аватарок в соцсетях и позволят воплотить в виду иные креативные мысли.
«Шедеврум» генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с приятелями или сохранить в формате MP4.
Сейчас функция работает в режиме тестирования. Генерация видео доступна в обновленной версии приложения активным пользователям «Шедеврума», а посмотреть результаты в ленте могут все.
«Шедеврум» установили более 130 тыс. раз за первые сутки
Для того, чтобы сгенерировать видео в «Шедевруме», нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения.
Нейросеть берет за основу выбранное пользователем изображение, генерирует набор его измененных версий и соединяет все выбранным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).
Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, питая деталями.
Генерация видео дополняет иные возможности «Шедеврума» - создание изображений и текстовых постов с заголовком и иллюстрацией.
«Яндекс» представил «Шедеврум» в начале апреля 2023 года. Нейросеть содержит 5 млрд параметров и обучалась на 330 млн образцов картинок с текстовым описанием.
Фото: «Яндекс»