from diffusers import MochiPipeline
from diffusers.utils import export_to_video
pipe = MochiPipeline.from_pretrained(VikramSingh178/mochi-diffuser-bf16, torch_dtype=torch.bfloat16)
pipe.to("cuda")
prompt = "A beautiful sunset over the mountains"
frames = pipe(prompt, num_inference_steps=50, guidance_scale=4.5,num_frames=61,generator=torch.Generator(device="cuda").manual_seed(42),).frames[0]
export_to_video(frames, "sunset.mp4")
Характеристики
- Лицензия
- Apache 2.0
- Базовая модель
- mochi-1-preview
- Библиотека
- diffusers
- Опубликована
- 7 ноя 2024
Ссылки
mochi-diffuser-bf16
Модель на основе Mochi 1 Preview генерирует видео по текстовым описаниям через библиотеку Diffusers.
13скачиваний за 30 дней5лайковвеса обновлены7 ноя 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Видео» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
VikramSingh178/mochi-diffuser-bf16 — версия модели Mochi 1 Preview, опубликованная в формате Diffusers и Safetensors с весами BF16. По текстовому запросу она генерирует видео; пример в карточке показывает создание ролика о закате в горах с помощью MochiPipeline. Модель основана на genmo/mochi-1-preview и распространяется по лицензии Apache-2.0.
Модель рассчитана на генерацию видео из текстовых описаний. Карточка демонстрирует запуск через библиотеку Diffusers на CUDA и настройку числа шагов, силы guidance и количества кадров. Поддерживаемый язык по метаданным — английский. Других характеристик, включая размер модели и длину контекста, источники не приводят.
Сценарии применения
- создание коротких видео по текстовому запросу
- визуализация сцен и пейзажей из описания
- генерация роликов для творческих концептов и превизуализации
Ограничения
В примере для генерации используется CUDA; карточка не описывает требования к видеопамяти и качество на разных типах запросов. Языковая поддержка указана для английского.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.10Универсальные способностиВидео, анимация и 3DAI помогает создавать, анализировать и преобразовывать динамический визуальный контент и 3D-сцены.18 задач3 279моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · diffusers
Подбираем GPU…
- Ревизия весов
- c4a5bc5