I.8Изображения и компьютерное зрение

Wan2.2-VACE-Fun-A14B — модель генерации видео из текста и управляемых визуальных условий, представленная проектом Alibaba PAI в составе Wan-Fun. Это дообученная версия Wan-AI/Wan2.2-T2V-A14B; веса опубликованы в формате safetensors и распространяются по лицензии Apache-2.0. Модель предназначена для создания видео по текстовому запросу с возможностью задавать контрольное видео и изображение-образец. В семейство Wan2.2-Fun также входят варианты для управления через Canny, глубину, позу, линии MLSD, траекторию и параметры камеры; README описывает возможности семейства, поэтому наличие каждого режима именно в этом чекпойнте не подтверждено. В документации семейства упомянуты обучение на нескольких разрешениях и поддержка многоязычных запросов. Для запуска предлагаются инструменты videox_fun и интеграция с ComfyUI. Генерация требует значительных вычислительных ресурсов и места на диске; README описывает режимы выгрузки частей модели на CPU и режим с float8-квантизацией, который может несколько снизить качество. Точный размер модели и длина контекста в предоставленных данных не указаны.

Карточка модели qqceqqq/Wan2.2-VACE-Fun-A14B на Hugging Face совпадает с карточкой alibaba-pai/Wan2.2-VACE-Fun-A14B, поэтому описание составлено по ней. Wan2.2-VACE-Fun-A14B — модель генерации видео из текста и управляемых визуальных условий, представленная проектом Alibaba PAI в составе Wan-Fun. Это дообученная версия Wan-AI/Wan2.2-T2V-A14B; веса опубликованы в формате safetensors и распространяются по лицензии Apache-2.0. Модель предназначена для создания видео по текстовому запросу с возможностью задавать контрольное видео и изображение-образец. В семейство Wan2.2-Fun также входят варианты для управления через Canny, глубину, позу, линии MLSD, траекторию и параметры камеры; README описывает возможности семейства, поэтому наличие каждого режима именно в этом чекпойнте не подтверждено. В документации семейства упомянуты обучение на нескольких разрешениях и поддержка многоязычных запросов. Для запуска предлагаются инструменты videox_fun и интеграция с ComfyUI. Генерация требует значительных вычислительных ресурсов и места на диске; README описывает режимы выгрузки частей модели на CPU и режим с float8-квантизацией, который может несколько снизить качество. Точный размер модели и длина контекста в предоставленных данных не указаны.

Модель Swedish Lion OCR разработана Национальным архивом Швеции для сегментации строк в рукописных исторических документах. Это модель сегментации экземпляров на архитектуре YOLO26s, которая выделяет текстовые строки на изображениях страниц целиком и предназначена для использования в конвейере HTR: после выделения строк их можно передать модели распознавания рукописного текста для транскрибации. Модель обучена на размеченном по строкам наборе примерно из 31 000 страниц (около 1,7 млн строк) исторического шведского письма, собранном Национальным архивом Швеции, Городским архивом Стокгольма, Национальным архивом Финляндии и Jämtlands läns fornskriftssällskap. Для работы используется библиотека Ultralytics. Лицензия — CC BY 4.0.

Z-Image-Turbo — модель генерации изображений из текста, опубликованная Unsloth как зеркало Tongyi-MAI/Z-Image-Turbo; веса не изменены. Это дистиллированный вариант семейства Z-Image с архитектурой Scalable Single-Stream DiT (S3-DiT) и 6 млрд параметров. Модель генерирует изображения по текстовым запросам, рассчитана на быстрое выполнение — за 8 вычислительных шагов — и поддерживает генерацию фотореалистичных изображений и точное отображение текста на английском и китайском языках. Модель подходит для создания иллюстраций и фотореалистичных изображений, а также изображений с надписями на английском или китайском. В README заявлены высокая скорость вывода и возможность работы на потребительских устройствах с 16 ГБ видеопамяти; эти характеристики зависят от оборудования и конфигурации. Лицензия — Apache-2.0.

AlbedoBase XL — модель генерации изображений по текстовому описанию, опубликованная Stable Diffusion API и предназначенная для использования через сервис ModelsLab. Карточка демонстрирует создание фотореалистичных портретов и сцен с настройками размера изображения, числа шагов генерации, seed и guidance scale. Модель доступна в формате Diffusers и использует StableDiffusionXLPipeline; веса представлены в PyTorch и Safetensors. Пример API указывает на генерацию изображений размером 512 × 512 и поддерживает negative prompt, усиление запроса и дополнительные параметры генерации. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M.

Clothes_Pattern_Classification_v2 — модель IrshadG для классификации узоров и фактур на одежде по изображению. Она использует архитектуру Vision Transformer (ViT) и содержит 113,2 млн параметров; модель доступна в формате safetensors и распространяется по лицензии MIT. Модель относит одежду к одному из классов: например, однотонная ткань, полоска, клетка, горошек, деним, кружево, вышивка, блестящая поверхность или принт. Она предназначена для распознавания типа узора на фотографии одежды; README отмечает, что результаты лучше после кадрирования изображения вокруг предмета. Поддерживается задача image-classification; основной язык метаданных — английский, но вход модели — изображение, поэтому язык не определяет её работу.

NimVideo/cogvideox-2b-img2vid — модель генерации видео по изображению, дообученная на 10 миллионах видео для создания роликов по входному изображению и текстовому запросу. В README заявлено качество на уровне CogVideoX-5B i2v по стандарту SBS; методика и результаты сравнения не приведены. Модель предназначена для создания коротких видео по исходному кадру и описанию сцены, например анимации транспортного средства в заданной обстановке. Репозиторий содержит веса в формате safetensors для Diffusers. Лицензия — Apache-2.0.

CogView3-Plus-3B — модель генерации изображений по текстовому описанию, разработанная командой Z.ai. Это версия семейства CogView3 на основе архитектуры DiT; она создаёт изображения с разрешением от 512 до 2048 пикселей при условии, что ширина и высота кратны 32. В README приведены замеры скорости и потребления памяти на A100: около секунды на шаг, 19–23 ГБ памяти без выгрузки модели на CPU и около 11 ГБ с ней. Модель рассчитана на генерацию изображений по текстовым запросам. В README для инференса указаны точности BF16 и FP32; FP16 не поддерживается из-за переполнения, которое может приводить к чёрным изображениям. Репозиторий использует форматы Diffusers и Safetensors. Лицензия — Apache-2.0.

CogVLM2-Llama3-Caption — модель для создания текстовых описаний видео, разработанная командой Zhipu AI. Она преобразует видеоданные в подписи и описания, которые можно использовать как обучающие данные для текстово-видеовой модели CogVideoX. Модель построена на архитектуре CogVLMVideoForCausalLM и дообучена на базе meta-llama/Meta-Llama-3.1-8B-Instruct; содержит 8,3 млрд параметров и рассчитана на контекст до 2048 токенов. Для запуска предусмотрена библиотека Transformers, веса доступны в формате safetensors. Основной сценарий — автоматическое описание видео для подготовки обучающих наборов данных. В метаданных указан английский язык. Лицензия обозначена как other, поэтому условия использования следует уточнять в карточке модели и у правообладателей базовой модели.

CommonCanvas-XL-NC — модель генерации изображений по тексту от команды CommonCanvas. Это версия семейства CommonCanvas на архитектуре латентной диффузии Stable Diffusion XL, обученная на подмножестве CommonCatalog — набора изображений с лицензиями Creative Commons и синтетическими описаниями, созданными BLIP-2. Модель принимает текстовые запросы и генерирует изображения; в первую очередь она рассчитана на англоязычные подсказки. Модель подходит для художественных и дизайнерских задач, творческих и образовательных инструментов, а также исследований генеративных моделей, их ограничений и смещений. Она может уступать SDXL в генерации лиц, фотографий и картин, хуже справляться со сложной композицией и точным изображением известных людей, произведений искусства и мест. Обучающие данные основаны на устаревших материалах Flickr100M и слабо представляют некоторые регионы; текст на изображениях обычно трудно читать, а автоэнкодер приводит к потере части информации. Модель может генерировать нежелательный контент. Лицензия CC BY-NC-SA 4.0 запрещает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов.

OysterQAQ/DanbooruCLIP — модель CLIP, дообученная на основе ViT-L/14 разработчиком OysterQAQ на датасете Danbooru2021; в обновлении от 17 июля 2023 года добавлены данные Pixiv. Она предназначена для классификации изображений по текстовым описаниям в режиме zero-shot: пользователь задаёт варианты меток, а модель сопоставляет их с изображением. Такой подход подходит для поиска и категоризации иллюстраций по тегам и описаниям. Репозиторий содержит веса PyTorch. Подробности о лицензии и ограничениях качества в доступных материалах не приведены.

Deliberate v3 — модель генерации изображений по текстовому описанию, представленная StableDiffusionAPI и доступная через сервис ModelsLab. Карточка показывает её использование через API с параметрами текстового и негативного промптов, размером изображения, числом шагов генерации и guidance scale; также упоминаются настройки улучшения промпта, увеличения разрешения и подключения LoRA или embeddings. Метаданные указывают на pipeline Stable Diffusion и форматы Diffusers и PyTorch. Модель предназначена для создания изображений по промптам, в том числе фотореалистичных портретов и сцен с детализированным освещением и заданной эстетикой. Указанная лицензия — CreativeML OpenRAIL-M. README демонстрирует доступ к генерации через ModelsLab API; параметры и доступность функций зависят от сервиса. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки.

Модель small-models-for-glam/detr-resnet-50_nls-chapbooks разработана как дообученная версия DETR на ResNet-50 для поиска печатных иллюстраций на страницах дешёвых народных книжек chapbook. Она обнаруживает один класс объектов — early_printed_illustration — и возвращает ограничивающие рамки, поэтому подходит для обработки сканов исторических изданий и подготовки коллекций к каталогизации или изучению. Модель создана на основе facebook/detr-resnet-50 и обучена 10 эпох на наборе biglam/nls_chapbook_illustrations с разметкой рамок иллюстраций со сканов Национальной библиотеки Шотландии. Использует архитектуру DETR; в репозитории доступны веса PyTorch и Safetensors. Лицензия — Apache-2.0.

DreamStyle3D — модель для генерации стилизованных 3D-объектов по изображению содержимого и изображению стиля. Она основана на дообученной модели microsoft/TRELLIS-image-large и распространяется в формате safetensors. Модель предназначена для создания 3D-ассетов, сохраняющих содержание исходного изображения и переносящих на объект визуальный стиль второго изображения. В README указана эффективность фреймворка, но конкретные показатели производительности не приведены. Условия лицензии и поддерживаемые языки в доступных данных не описаны.

EasyAnimateV4-XL-2-InP — модель Alibaba PAI для генерации видео по текстовым запросам, изображениям и видео. Она построена на архитектуре Diffusion Transformer с компонентами PixArt-alpha, модулем движения, U-ViT-подобными skip-соединениями и Slice VAE; текст кодирует T5. По карточке модели версия поддерживает разрешения от 512 до 1280 пикселей, генерацию до 144 кадров при 24 кадрах в секунду и двуязычные запросы на китайском и английском языках. Модель предназначена для создания коротких видеоклипов и преобразования визуальных входов в видео. Авторы отмечают, что V4 не показала существенного улучшения относительно V3 и что обучение полной 3D attention-модели обходится дорого. В метаданных указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

Omnico/Flux2Klein_9B_diff_loras — модель или набор LoRA-адаптеров для генерации изображений по текстовому описанию, предназначенный для использования с библиотекой Diffusers. Разработчик указан как Omnico. Модель ориентирована на сценарии text-to-image и может применяться для создания художественных иллюстраций, фотореалистичных сцен, портретов, персонажей и изображений в различных стилях по промптам. Из доступных данных известно, что это diffusion LoRA с заявленным размером 9B в идентификаторе, однако точная базовая модель, архитектура, параметры адаптеров, поддерживаемые языки, максимальный контекст и перечень модальностей не указаны. Примеры показывают широкий диапазон визуальных стилей и сюжетов, включая реалистичную фотографию, аниме, фэнтези и живописные изображения. Ограничения, требования к памяти, рекомендации по весам LoRA и особенности качества также не описаны. Лицензия и условия использования в README не указаны, поэтому ограничения на коммерческое применение, перераспределение и модификацию требуют уточнения у разработчика.

Карточка модели HiDream-ai/HiDream-I1-Dev на Hugging Face совпадает с карточкой HiDream-ai/HiDream-I1-Fast, поэтому описание составлено по ней. HiDream-I1-Fast — вариант модели генерации изображений HiDream-I1, разработанный HiDream.ai. Это открытая генеративная модель с архитектурой Sparse Diffusion Transformer и 17 млрд параметров, предназначенная для создания изображений по текстовым описаниям. Она рассчитана на быструю генерацию и заявляет высокое качество, следование запросам и работу в фотореалистичном, мультяшном и художественном стилях. Модель принимает текст и выдаёт изображения; в метаданных указан английский язык. Репозиторий распространяется в форматах Diffusers и Safetensors, лицензия — MIT, допускающая коммерческое использование. README описывает сильные результаты на бенчмарках, но не приводит полных сведений о ресурсах для запуска и ограничениях качества.

Карточка модели gradients-io-tournaments/ideogram-4-fp8 на Hugging Face совпадает с карточкой ideogram-ai/ideogram-4-fp8, поэтому описание составлено по ней. Ideogram 4 FP8 — вариант открытых весов модели генерации изображений по тексту, разработанный Ideogram. Это модель, обученная с нуля, а не дообучение существующего чекпойнта. Она использует flow matching и одно-поточную архитектуру Diffusion Transformer с 34 слоями; в текстовом энкодере применяется Qwen3-VL-8B-Instruct, признаки которого извлекаются из 13 промежуточных слоёв. Модель предназначена для создания изображений по текстовым описаниям, особенно для графического дизайна и задач, где важны надписи внутри изображения. Структурированные JSON-подсказки позволяют задавать композицию, стиль, освещение, палитру и расположение элементов через координаты ограничивающих рамок. Поддерживаются разрешения от 256 до 2048 пикселей, кратные 16, и соотношения сторон до 6:1. Заявлена поддержка многоязычного рендеринга текста. Вариант fp8 содержит 9,3 млрд параметров и использует квантизацию FP8; модель поставляется в форматах Diffusers и safetensors. В README для этого варианта указана лицензия Ideogram 4 Non-Commercial, а метаданные Hugging Face обозначают лицензию как other. README сообщает, что Diffusers не поддерживает этот вариант напрямую. Для фильтрации запросов и результатов в описанном процессе используется Hive.

ford442/Juggernaut-XI-v11-fp32 — производная модель семейства Stable Diffusion XL для генерации изображений по текстовым запросам. В метаданных указаны библиотека Diffusers и связь дообучения с stabilityai/stable-diffusion-xl-base-1.0; автор README — RunDiffusion. Модель предназначена для создания изображений по описаниям, в том числе в жанрах фотографии, кинематографических сцен, пейзажей, интерьеров, еды, автомобилей, дикой природы и архитектуры. Поддерживаемый язык из метаданных — английский. Репозиторий использует форматы Diffusers, PyTorch и Safetensors. Лицензия CC-BY-NC-ND-4.0 запрещает коммерческое использование и распространение производных материалов на условиях лицензии.

LibreHPS-4B v1.1 — мультимодальная модель оценки предпочтений, разработанная командой deepcrayon. Она принимает изображение или короткое видео вместе с текстовым запросом и оценивает, насколько результат соответствует запросу; также может сравнить два изображения и определить, какое, вероятно, предпочтёт человек. Модель полезна для отбора и ранжирования генераций, оценки качества по нескольким критериям и обучения генеративных моделей с обратной связью от предпочтений. Модель содержит 4 млрд параметров и использует плотную архитектуру Qwen3.5 с гибридом Mamba2 и полного внимания. Оценки выдаются по осям общего качества, соответствия запросу, визуальной связности и стиля; для видео добавляется естественность движения. Для загрузки и получения оценок нужны reward heads и пакет librehps; одних весов с обычным Transformers недостаточно. Лицензия — Apache-2.0. Обучение проводилось на результатах генераторов с разрешительным лицензированием, поэтому оценки изображений закрытых генераторов, включая Midjourney и большинство изображений OpenAI, могут быть ненадёжны. Модель не предназначена для модерации контента; оценка движения обучена на коротких роликах с 5–8 кадрами, поэтому применение к более длинным видео является экстраполяцией. Неопределённость в поле sigma для этого чекпойнта неинформативна; для неё следует использовать калиброванную вероятность.

Карточка модели dprrwt/Lightricks_LTX-2 на Hugging Face совпадает с карточкой Aga16/LTX-2, поэтому описание составлено по ней. LTX-2 — разработанная Lightricks диффузионная модель на основе DiT для совместной генерации видео и синхронизированного с ним аудио. Репозиторий описывает семейство чекпойнтов, включая полную обучаемую версию ltx-2-19b-dev и варианты с квантованием FP8 и NVFP4; модель доступна через Diffusers и ориентирована на локальный запуск. В метаданных указаны форматы Diffusers и safetensors, а основная задача репозитория — генерация видео по изображению. Модель предназначена для создания видео на основе изображения и текстового описания. В карточке также заявлена генерация аудио вместе с видео, однако метаданные каталога подтверждают только задачу image-to-video. Указан английский язык; карточка не сообщает размер контекста. Для размеров кадра требуется кратность 32, а число кадров должно соответствовать формуле 8n+1. Модель не предназначена для выдачи фактической информации, может не точно следовать запросу и воспроизводить социальные смещения или неподходящий контент; качество аудио без речи может быть ниже. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

LTX-2.3-fp8 — аудиовизуальная foundation-модель, разработанная компанией Lightricks. Это диффузионная модель на архитектуре DiT, предназначенная для совместной генерации синхронизированных видео и аудио в рамках одной модели. Доступна в вариантах полного 22B-чекпойнта и дистиллированного чекпойнта, рассчитанного на генерацию за 8 шагов с CFG=1; обе версии используют формат FP8. Модель поддерживает сценарии text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio, а также совместную генерацию аудио и видео по тексту или изображениям. Заявлены улучшенное качество аудио и визуального контента и более точное следование промптам по сравнению с LTX-2. Основной заявленный язык — английский; в метаданных также перечислены немецкий, испанский, французский, японский, корейский, китайский, итальянский и португальский. К ограничениям относятся возможное несовершенное соответствие промпту, зависимость результата от стиля формулировки запроса, риск усиления общественных предубеждений и генерации неприемлемого или оскорбительного контента. Модель не предназначена для предоставления фактической информации, а качество аудио без речи может быть ниже. Для работы локально указана поддержка PyTorch примерно версии 2.7, CUDA выше 12.7 и Python от 3.12; ширина и высота должны делиться на 32, а число кадров — соответствовать формату 8n+1. Использование модели, её производных и связанных компонентов регулируется ltx-2-community-license-agreement.

stronman/LTX-2.3-fp8 — FP8-версия аудиовизуальной foundation-модели LTX-2.3, разработанной Lightricks. Это диффузионная DiT-модель с открытыми весами, предназначенная для совместной генерации синхронизированных видео и аудио. Она поддерживает сценарии text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio и комбинированную генерацию аудио-видео, включая преобразование аудио. Доступны полный обучаемый вариант ltx-2.3-22b-dev-fp8 и дистиллированный вариант ltx-2.3-22b-distilled-fp8, рассчитанный на генерацию за 8 шагов при CFG=1. Модель ориентирована на локальный запуск и практическое применение, отличается улучшенным качеством аудио и видео и более точным следованием запросам по сравнению с LTX-2. Заявлен английский язык. Для работы требуются размеры кадра, кратные 32, а число кадров — по формуле 8n+1. Модель не предназначена для предоставления фактической информации и может не полностью соответствовать запросам, усиливать социальные предубеждения или генерировать неприемлемый контент. Качество аудио без речи может быть ниже. Использование полного, дистиллированного вариантов, апскейлеров и производных регулируется ltx-2-community-license-agreement.

unsloth/LTX-2.3-GGUF — GGUF-квантованная версия LTX-2.3, аудиовизуальной foundation-модели, разработанной Lightricks. Модель основана на архитектуре DiT и предназначена для совместной генерации синхронизированных видео и аудио в едином пайплайне. Публикация использует методологию Unsloth Dynamic 2.0 GGUF с повышенной точностью для важных слоёв и рассчитана на локальный запуск, в частности через ComfyUI. Модель поддерживает сценарии text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio, а также совместную генерацию аудио и видео из текста или изображений. Доступны варианты dev и distilled: dev обеспечивает более высокое качество и требует не менее 20 шагов генерации, тогда как distilled оптимизирован для быстрых запусков примерно за 4–8 шагов и может использоваться для черновой генерации или уточнения результата. Указан размер основной модели 22B. Заявлены языки English, German, Spanish, French, Japanese, Korean, Chinese, Italian и Portuguese; размер контекста в README не указан. Сильные стороны модели — единая генерация аудиовизуального контента, синхронизация звука и изображения, улучшенные качество аудио и видео и повышенное следование промпту по сравнению с LTX-2. Ограничения включают значительные требования к вычислительным ресурсам для dev-варианта, зависимость от совместимых инструментов и компонентов пайплайна, а также компромисс между скоростью и качеством у distilled-варианта. Модель распространяется по лицензии ltx-2-community-license-agreement; это не стандартная свободная лицензия, поэтому условия использования следует проверять в полном тексте соглашения.

Карточка модели bykhan/LTX-Video на Hugging Face совпадает с карточкой Lightricks/LTX-Video, поэтому описание составлено по ней. LTX-Video — диффузионная модель генерации видео на основе архитектуры DiT, разработанная Lightricks. Этот репозиторий предназначен для создания видео по входному изображению; модель также описана как генератор видео с несколькими условиями, включая изображения и короткие видеосегменты. В карточке указаны версии на 2B и 13B параметров, а также варианты distilled и модели для рабочих процессов с разным балансом скорости и качества. Модель ориентирована на генерацию видео высокого разрешения и заявляет скорость, позволяющую создавать ролики быстрее их просмотра; для одной из конфигураций указаны 30 кадров в секунду и разрешение 1216×704. Лучше использовать разрешения ниже 720×1280 и менее 257 кадров; разрешение должно делиться на 32, а число кадров иметь вид 8n+1. Для управления генерацией рекомендуется подробно формулировать промпты на английском. LTX-Video подходит для создания визуальных сцен и коротких видеороликов по изображению и текстовому описанию. Результат может не полностью соответствовать промпту, а стиль формулировки заметно влияет на следование инструкции; модель не предназначена для получения фактических сведений и может усиливать социальные предубеждения. Лицензия в метаданных указана как other; README перечисляет отдельные лицензии для разных версий, поэтому условия использования зависят от конкретного чекпойнта.

LTX-Video-0.9.6-distilled-gguf — это прямое преобразование модели Lightricks/LTX-Video в формат GGUF, выполненное пользователем city96. Модель предназначена для генерации видео по текстовому описанию (text-to-video) и преобразования изображения в видео (image-to-video). Для запуска предусмотрена интеграция с ComfyUI через дополнительный узел ComfyUI-GGUF. В состав рабочего комплекта входят основная диффузионная модель LTX-Video-0.9.6-Distilled, текстовый энкодер T5-V1.1-XXL-Encoder и VAE LTX-Video-0.9.6. В README указано, что модель рассчитана на английский язык. Размер основной модели, точная архитектура, поддерживаемый размер контекста и характеристики модальностей в предоставленных данных не уточняются. Примеры демонстрируют генерацию видео, однако автор отмечает, что они не являются строго репрезентативными. Это квантованная версия, а не дообученная модель, поэтому к ней применяются те же ограничения и условия исходной модели. Лицензия обозначена как other; подробные условия находятся в файле LICENSE.md исходного репозитория. Для работы также требуются отдельные текстовый энкодер и VAE в совместимых форматах.

Карточка модели baselquants/MiniMax-H3 на Hugging Face совпадает с карточкой MiniMaxAI/MiniMax-H3, поэтому описание составлено по ней. MiniMax H3 — мультимодальная генеративная система компании MiniMax для создания видео со встроенным стереозвуком по тексту и мультимодальным входам. Открытый релиз включает специализированные чекпойнты H3-Base-FL2VA и H3-Base-Ref2VA: первый принимает до двух изображений для генерации по первому и последнему кадру, второй — изображения, видеоклипы и аудио в качестве мультимодальных референсов. Модель использует архитектуру H3-Omni-Transformer: кодирует входные данные соответствующими энкодерами и VAE, объединяет представления в последовательность с пространственными и временными связями, а затем совместно генерирует видео и аудиолатенты. Система предназначена для генерации роликов длительностью 4–15 секунд в различных соотношениях сторон; базовый вывод имеет разрешение 768p, а модуль H3-Regenerate-2K может повысить его до 2K. Входы включают текст, изображения, видео и аудио; результат — видео со звуком. Для сложных свободных мультимодальных запросов официальный процесс использует H3-Context-IR, однако эта размещённая предварительная обработка не входит в открытый релиз и доступна через API. В открытом релизе используется полное внимание; разреженное внимание заявлено как будущая возможность. Лицензия указана как other, поэтому конкретные условия следует проверять в репозитории модели.

Карточка модели LILUMY/MiniMax-H3 на Hugging Face совпадает с карточкой MiniMaxAI/MiniMax-H3, поэтому описание составлено по ней. MiniMax H3 — мультимодальная генеративная система компании MiniMax для создания видео со встроенным стереозвуком по тексту и мультимодальным входам. Открытый релиз включает специализированные чекпойнты H3-Base-FL2VA и H3-Base-Ref2VA: первый принимает до двух изображений для генерации по первому и последнему кадру, второй — изображения, видеоклипы и аудио в качестве мультимодальных референсов. Модель использует архитектуру H3-Omni-Transformer: кодирует входные данные соответствующими энкодерами и VAE, объединяет представления в последовательность с пространственными и временными связями, а затем совместно генерирует видео и аудиолатенты. Система предназначена для генерации роликов длительностью 4–15 секунд в различных соотношениях сторон; базовый вывод имеет разрешение 768p, а модуль H3-Regenerate-2K может повысить его до 2K. Входы включают текст, изображения, видео и аудио; результат — видео со звуком. Для сложных свободных мультимодальных запросов официальный процесс использует H3-Context-IR, однако эта размещённая предварительная обработка не входит в открытый релиз и доступна через API. В открытом релизе используется полное внимание; разреженное внимание заявлено как будущая возможность. Лицензия указана как other, поэтому конкретные условия следует проверять в репозитории модели.

MiniMax H3 — мультимодальная генеративная система MiniMax для создания видео со встроенным стереозвуком по текстовым и мультимодальным входным данным. Архитектура H3-Omni-Transformer объединяет представления текста, изображений, видео и аудио; текст обрабатывает H3-Encoder, визуальные данные — H3-Encoder и Visual VAE, аудио — Audio VAE. Модель совместно предсказывает видео- и аудиопредставления. Репозиторий содержит веса в формате safetensors для Diffusers. H3 предназначена для генерации роликов длительностью 4–15 секунд в разных форматах кадра. Вариант H3-Base-FL2VA принимает текст и до двух изображений для генерации по первому и/или последнему кадру; H3-Base-Ref2VA поддерживает мультимодальные референсы — до девяти изображений, трёх видеоклипов и трёх аудиоклипов с ограничениями по длительности и общему числу файлов. Базовая генерация выполняется в разрешении 768p; модуль H3-Regenerate-2K позволяет повторно генерировать результат в 2K. Система подходит для создания видео по описанию, изображениям и мультимодальным референсам, с синхронизированным аудио. Для сложных входных данных рекомендуемая обработка через H3-Context-IR повышает качество, однако этот компонент не входит в открытый выпуск и предоставляется как размещённый сервис/API. В открытом выпуске доступен только режим full attention; sparse attention заявлен для будущего обновления. В метаданных лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

MiniMax H3 — мультимодальная генеративная система, разработанная MiniMax. Модель принимает текстовые инструкции и может работать с изображениями, видео и аудио как с контекстом или референсами, чтобы генерировать видео со стереозвуком. В README описаны режимы генерации по тексту, первому и последнему кадрам, а также по смешанным мультимодальным референсам. В открытой версии H3-Base используется архитектура H3-Omni-Transformer с кодировщиками текста и визуальных данных, Visual VAE и Audio VAE; модель совместно предсказывает латентные представления видео и аудио. Генерация длится 4–15 секунд, базовый вывод — 768p; для получения 2K предусмотрен отдельный модуль H3-Regenerate-2K. Файлы представлены в формате Diffusers и Safetensors. Система подходит для создания коротких видеороликов по текстовым описаниям и референсным материалам. Облачный модуль H3-Context-IR для разбора сложных мультимодальных инструкций не входит в открытый релиз, поэтому для полного рабочего процесса требуется API или собственная предварительная обработка. Веса распространяются по лицензии other; конкретные условия следует проверять в карточке модели.