AV-GRPO — модель на базе LTX-2.3 для совместной генерации аудио и видео по текстовому запросу с обучением методом диффузионного reinforcement learning.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
AV-GRPO — модель для совместной генерации аудио и видео по текстовому запросу, представленная в исследовательской работе о reinforcement learning для диффузионной генерации. Репозиторий описывает обучение модели LTX-2.3 размером 22 млрд параметров с помощью полнопараметрической настройки или LoRA на восьми GPU A800.
Модель предназначена для генерации аудиовизуального контента, согласованного по модальностям. В карточке Hugging Face указана задача text-to-video, а README описывает совместную генерацию аудио и видео. В репозитории размещены веса в формате safetensors; лицензия обозначена как other. Подробности запуска и использования вынесены в связанный GitHub-репозиторий.
Для обучения указана конфигурация из восьми GPU A800, что предполагает высокие вычислительные требования. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории.
README от автора на Hugging Face, как он его опубликовал
AV-GRPO is a modality-anchored online diffusion reinforcement learning framework for joint audio-video generation. It enables full-parameter or LoRA training of the 22B LTX-2.3 model on 8 A800 GPUs.
This repository contains the model introduced in AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation.
For training, inference, and usage details, please refer to the GitHub repository.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Генеративная модель выложена не в формате diffusers.