/ Модель

Характеристики

Лицензия
Своя лицензия
Базовая модель
LTX-2.3
Опубликована
25 июл 2026

LTX-2.3-Distilled-v1.1-Diffusers

Видео из изображенияИзображение, текст → видео3 профессии

Дистиллированная конверсия Lightricks/LTX-2.3 в формате Diffusers для генерации видео по изображению с синхронизированным аудио.

82скачиваний за 30 дней0лайковвеса обновлены25 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LTX-2.3 Distilled v1.1 (Diffusers) — неофициальная конверсия весов модели Lightricks/LTX-2.3 в формат Diffusers с обновлёнными весами DiT из дистиллированного чекпойнта версии 1.1. Диффузионная архитектура DiT совместно генерирует видео и синхронизированное аудио; для генерации требуется 8 шагов при CFG = 1.

Модель предназначена для создания видео по изображению. Для работы нужны свежая версия Diffusers с поддержкой LTX-2 и соответствующий базовый pipeline. Ширина и высота кадров должны делиться на 32, а число кадров иметь вид 8k + 1; для дистиллированного чекпойнта следует использовать 8 шагов и guidance_scale = 1.0.

Это конверсия, а не официальная публикация Lightricks: кроме весов DiT, компоненты pipeline взяты без изменений из Diffusers-конверсии версии 1.0. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в исходном репозитории модели.

Сценарии применения

  • создание видео на основе исходного изображения
  • анимация изображения с синхронизированным звуком
  • генерация коротких видеосцен из визуального референса

Ограничения

Для работы требуется актуальная сборка Diffusers с поддержкой LTX-2; ширина и высота должны делиться на 32, число кадров должно иметь вид 8k + 1. Это неофициальная конверсия: компоненты pipeline, кроме весов DiT, унаследованы от конверсии v1.0; лицензия указана как other.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LTX-2.3 Distilled v1.1 (Diffusers)

Diffusers-format weights for the v1.1 distilled checkpoint of Lightricks/LTX-2.3 — a DiT-based foundation model that jointly generates synchronized video and audio. Runs in 8 steps with CFG = 1.

This is an unofficial staging conversion. The existing diffusers/LTX-2.3-Distilled-Diffusers repo was converted before the upstream v1.1 distilled checkpoint was published (v1.0 dates to Mar 5, this repo's source dg845/LTX-2.3-Distilled-Diffusers conversion was done Mar 14, and the v1.1 checkpoint was added upstream on Apr 13) — so that repo still ships v1.0 weights. This repo swaps in the v1.1 transformer/ weights on top of the same base pipeline; every other component (VAE, audio VAE, text encoder, tokenizer, connectors, vocoder, scheduler config) is unchanged from diffusers/LTX-2.3-Distilled-Diffusers and was not re-converted, since only the DiT was updated upstream.

Source checkpoint

  • File: ltx-2.3-22b-distilled-1.1.safetensors from Lightricks/LTX-2.3
  • Converted with scripts/convert_ltx2_to_diffusers.py --version 2.3 --dit from a local huggingface/diffusers checkout (0.40.0.dev0).
  • Architecture (transformer/config.json) is byte-for-byte identical to the v1.0 conversion in diffusers/LTX-2.3-Distilled-Diffusers aside from the _diffusers_version metadata field — only the weights changed upstream.

Usage

Requires a recent build of diffusers with LTX-2 support:

pip install -U git+https://github.com/huggingface/diffusers
import torch
from diffusers import LTX2Pipeline
from diffusers.pipelines.ltx2.export_utils import encode_video
from diffusers.pipelines.ltx2.utils import DEFAULT_NEGATIVE_PROMPT, DISTILLED_SIGMA_VALUES

pipe = LTX2Pipeline.from_pretrained(
    "rootonchair/LTX-2.3-Distilled-v1.1-Diffusers", torch_dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

prompt = "A flowing river in a forest at golden hour, gentle wind in the leaves."
frame_rate = 24.0

video, audio = pipe(
    prompt=prompt,
    negative_prompt=DEFAULT_NEGATIVE_PROMPT,
    width=768,
    height=512,
    num_frames=121,
    frame_rate=frame_rate,
    num_inference_steps=8,
    sigmas=DISTILLED_SIGMA_VALUES,
    guidance_scale=1.0,
    output_type="np",
    return_dict=False,
)

encode_video(
    video[0],
    fps=frame_rate,
    audio=audio[0].float().cpu(),
    audio_sample_rate=pipe.vocoder.config.output_sampling_rate,
    output_path="ltx2_distilled_v1_1_t2v.mp4",
)

Notes

  • width/height must be divisible by 32; num_frames must equal 8k + 1.
  • Always pass sigmas=DISTILLED_SIGMA_VALUES, num_inference_steps=8, guidance_scale=1.0 for this distilled checkpoint.
  • See the Diffusers LTX-2 docs for multimodal guidance, prompt enhancement, and the upscaling/refinement pipeline.

License

These weights are released under the LTX Video 2 Open Source License.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели «картинка → видео» пока не запускаются.

Ревизия весов
d67de19

0 моделей