IV.9Медиа, журналистика, культура, архивы и игры

GIT-large (GenerativeImage2Text) — модель Microsoft для генерации текста по изображениям. Она использует декодер Transformer, обусловленный визуальными токенами CLIP и текстовыми токенами, и предсказывает текст по одному токену. Вариант large обучен на 20 миллионах пар изображение—текст; размер модели — 80,1 млн параметров, контекст — 1024 токена. Модель предназначена прежде всего для описания изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, подписей к видео и классификации изображений через генерацию текстовой метки, однако README рекомендует использовать этот исходный чекпойнт для описания изображений. Модель принимает изображения и текстовый запрос, выдаёт текст; в метаданных указан английский язык. Качество зависит от содержания изображения и обучающих данных, а ответы могут быть неточными или упускать детали. Лицензия — MIT.

GIT-large-R-COCO — модель Microsoft для генерации описаний изображений. Это декодерный Transformer семейства GIT (GenerativeImage2Text), который получает визуальные токены изображения от CLIP и текстовые токены; размер модели — 80,1 млн параметров, длина контекста — 1024 токена. Чекпойнт дообучен на COCO; суффикс R означает повторное обучение с удалением части оскорбительных подписей из набора CC12M. Модель предназначена прежде всего для автоматического создания текстовых подписей к изображениям. Архитектура также позволяет задавать вопросы об изображении или получать текстовую метку класса, но эти сценарии не обозначены как основная настройка данного чекпойнта. Карточка описывает обучение на парах изображение—текст и приводит сведения о предварительной обработке изображений; результаты оценки отсылаются к статье. Модель принимает изображения и выдаёт текст на английском языке. Распространяется под лицензией MIT. Как и другие генераторы подписей, может ошибаться в деталях сцены или формулировать неподтверждённые изображением сведения; для результатов оценки следует обратиться к публикации.

GLM-Image — модель генерации изображений от команды zai-org. Она сочетает авторегрессионный генератор на 9 млрд параметров, инициализированный из GLM-4-9B-0414, и диффузионный декодер на 7 млрд параметров на основе одно поточной архитектуры DiT. Модель принимает текстовые описания для генерации изображений, а также изображения для редактирования, переноса стиля, сохранения идентичности объектов и согласованности нескольких персонажей. GLM-Image рассчитана на создание детализированных изображений и особенно хорошо справляется с точным отображением текста и генерацией, требующей предметных знаний и сложного семантического понимания. В карточке указана поддержка китайского и английского языков; для текста, который должен появиться на изображении, рекомендуется использовать кавычки в запросе. Модель распространяется под лицензией MIT. Ограничения: высокая стоимость инференса из-за ограниченных оптимизаций; целевое разрешение должно делиться на 32. Повышенная температура генерации увеличивает разнообразие, но может снижать стабильность результата.

GreekT5-umt5-small-greeksum — модель семейства UMT5, разработанная авторами исследования GreekT5 для автоматического составления кратких изложений новостных статей на греческом языке. Она обучена на наборе GreekSum, включающем около 151 тысячи статей из греческого новостного издания News24/7 по темам общества, политики, экономики, культуры и мировых новостей. Модель построена на архитектуре UMT5 для генерации текста по текстовому входу и содержит около 160,6 млн параметров. В опубликованной оценке на GreekSum вариант umt5-small показал ROUGE-1 25,49, ROUGE-2 12,03, ROUGE-L 21,32 и BERTScore 72,86. Эти результаты относятся к оцениванию на описанном наборе данных и сами по себе не гарантируют качество на других жанрах или источниках. Модель распространяется под лицензией Apache-2.0.

HiDream-I1-Full — полноразмерная версия открытой модели генерации изображений HiDream-I1, разработанная HiDream.ai. Это генеративная модель с разреженным диффузионным трансформером и 17 млрд параметров; она работает в библиотеке Diffusers и создаёт изображения по текстовым запросам. Модель рассчитана на генерацию в разных стилях, включая фотореализм, мультфильм и художественные изображения, с акцентом на качество и точное следование запросу. Модель подходит для создания иллюстраций, концепт-арта, изображений для творческих проектов и коммерческих материалов. В README заявлены высокие результаты на бенчмарках качества и соответствия запросам. Для запуска требуется Flash Attention; авторы рекомендуют CUDA 12.4. Модель распространяется по лицензии MIT, а README допускает личное, научное и коммерческое использование созданных изображений.

HunyuanImage-2.1 — модель генерации изображений по тексту, разработанная Tencent. Она предназначена для создания детализированных изображений высокого разрешения, включая 2K, по запросам на английском и китайском языках. Модель использует диффузионный трансформер с одно- и двухпоточной архитектурой и 17 млрд параметров, два текстовых энкодера, VAE со сжатием 32× и этап доработки изображений. Модуль PromptEnhancer может автоматически расширять запросы, а обучение с обратной связью от людей и дистилляция MeanFlow направлены на повышение качества и эффективности генерации. Модель рассчитана на разные композиции и соотношения сторон, точную передачу деталей сцен и генерацию текста внутри изображений. В README указана поддержка английских и китайских запросов. Рекомендуется использовать полный конвейер с улучшением запроса и доработкой изображения; генерация в разрешении 1K может приводить к артефактам. Репозиторий использует лицензию с меткой other, конкретные условия которой следует проверять в лицензии проекта.

HunyuanImage-2.1-Diffusers — модель генерации изображений по текстовому описанию, разработанная Tencent Hunyuan и опубликованная в формате, совместимом с библиотекой Diffusers. Модель использует pipeline HunyuanImagePipeline и распространяется с весами в формате Safetensors. Модель предназначена для создания изображений по промптам на английском и китайском языках, включая фотореалистичные сцены, персонажей, предметы, иллюстрации и композиции с текстовыми деталями. В README показан пример генерации изображения размером 2048×2048 за 50 шагов диффузии, а также настройка guidance scale. Для запуска в примере используется PyTorch, GPU CUDA и вычисления в bfloat16. Модель удобна для генерации концепт-артов, рекламных и дизайнерских материалов, иллюстраций и визуальных прототипов. Ограничения по числу параметров и длине контекста в доступных материалах не приведены. Использование регулируется специальной лицензией tencent-hunyuan-community; перед применением необходимо ознакомиться с её условиями.

HunyuanVideo-Foley — модель Tencent Hunyuan для генерации звукового сопровождения к видео. Она предназначена для авторов видеоконтента и подходит для создания звуковых эффектов в коротких роликах, кино, рекламе и играх. По карточке модель принимает видео и текстовое описание сцены, а выдаёт синхронизированный с видео звук; в метаданных основная задача обозначена как text-to-audio, а среди языков указаны английский и китайский. Архитектура сочетает мультимодальные трансформерные блоки для совместной обработки визуального и аудиопотоков с аудио-блоками для уточнения звука. Видеокадры и текст кодируются предварительно обученными энкодерами, а для временной синхронизации используется подход на основе Synchformer. Карточка заявляет генерацию аудио с частотой 48 кГц и высокое качество, однако параметры размера модели и контекстного окна не приведены. Модель рассчитана на генерацию фоли-звука, семантически соответствующего содержимому видео и текстовой подсказке. В README заявлены хорошие результаты по качеству звука и синхронизации, но доступные фрагменты таблиц не позволяют независимо проверить эти утверждения. Для запуска рекомендованы CUDA 11.8 или 12.4 и Linux; лицензия в метаданных указана как other, поэтому конкретные права использования следует уточнять в условиях репозитория.

Idefics2-8b — мультимодальная модель компании Hugging Face, объединяющая зрительный энкодер SigLIP и языковую модель Mistral-7B. Модель содержит 8 млрд параметров, принимает текстовые запросы и одно или несколько изображений, в том числе в произвольном чередовании с текстом, и генерирует текстовые ответы. Основной язык карточки — английский. Лицензия — Apache 2.0. Модель предназначена для ответов на вопросы об изображениях, создания подписей, чтения текста на изображениях и документах, а также анализа диаграмм и графиков. Архитектура обрабатывает изображения с сохранением их исходного разрешения и соотношения сторон; поддерживается разрешение до 980 × 980 пикселей и разбиение на подизображения. Генерация изображений не поддерживается. Версия Idefics2-8b дообучена следовать инструкциям и подходит для использования без дополнительной настройки или как основа для дообучения под конкретные задачи. Обычно модель отвечает кратко; для длинных ответов авторы рекомендуют вариант idefics2-8b-chatty. Модель может выдавать фактически неверные ответы и вредные стереотипы, поэтому она не предназначена для принятия решений с серьёзными последствиями. Для работы с Transformers следует учитывать несовместимость версий 4.41.0–4.43.3 включительно.

Sof22/image-caption-large-copy — модель описания изображений на основе BLIP от Salesforce с визуальным энкодером ViT-Large. Она предназначена для генерации подписей к изображениям в условном и безусловном режимах; автор карточки отмечает настройку параметров генерации для увеличения длины ответа. Модель предобучена для описания изображений на датасете COCO и использует архитектуру BlipForConditionalGeneration. Модель принимает изображения и генерирует текстовые описания. В репозитории доступны форматы PyTorch и TensorFlow. Карточка не сообщает о поддерживаемых естественных языках. Лицензия — BSD 3-Clause.

Mitchins/image-medium-classifier-efficientnetv2-s-v1 — модель классификации изображений на базе TF-EfficientNetV2-S из библиотеки timm, дообученная на распознавание аниме, фотографий и рендеров. Она принимает RGB-изображения размером 224×224 и относит их к одному из трёх классов: anime, real или rendered. В модели 21,5 млн параметров; заявленная точность на валидации — 97,55%. По данным карточки, распознавание рендеров сложнее, особенно для фотореалистичных игровых сцен; для них полнота составляет 90%. Модель можно применять для автоматической сортировки изображений и определения, является ли изображение фотографией, аниме или компьютерной графикой. Распространяется по лицензии OpenRAIL.

AndrewDry/iptc-taxonomy-classifier-swedish — модель классификации текстов на основе SetFit, обученная для распределения шведских текстов по 73 категориям таксономии IPTC. В модели используется Sentence Transformer на базе BERT и классификационная голова LogisticRegression; SetFit сочетает контрастивное дообучение энкодера с обучением классификатора на полученных признаках. Репозиторий содержит веса в формате safetensors, модель рассчитана на последовательности до 512 токенов по метаданным Hugging Face; в карточке SetFit также указан предел 128 токенов. Модель подходит для автоматической тематической разметки шведских новостных и других текстов по категориям, включая политику, экономику, медицину, науку, культуру и спорт. Архитектура BERT и метод SetFit предназначены для классификации с эффективным использованием размеченных примеров. Лицензия в предоставленных данных не указана.

Jina AI разработала эту версию jina-embeddings-v4 для мультимодального и многоязычного поиска по визуальным документам. Веса адаптера retrieval объединены с базовой моделью Qwen2.5-VL, что обеспечивает совместимость с vLLM без специальной обработки адаптеров. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для поиска документов по текстовым и визуальным запросам, в том числе для многоязычного поиска по содержимому документов. Репозиторий содержит веса в формате safetensors; метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.

Yntec/Juggernaut — версия модели Juggernaut, преобразованная в формат Diffusers, а затем сохранённая в safetensors. По карточке, преобразование уменьшило размер файлов на 1,7 ГБ без изменения результатов генерации. Модель предназначена для создания изображений по текстовым запросам: примеры показывают фотореалистичные сцены, портреты и персонажей, а также иллюстрации и концепт-арт. Модель распространяется под лицензией CreativeML OpenRAIL-M. В метаданных указаны библиотека Diffusers и поддержка английского языка. Размер исходной модели, длина контекста и конкретные условия лицензии сверх её названия в предоставленных данных не описаны.

KB-Whisper Base — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) на основе OpenAI Whisper Base. Модель содержит 51,7 млн параметров и дообучена на шведской речи; в README указано более 50 000 часов аудиозаписей с текстовыми расшифровками. Метаданные указывают архитектуру Whisper и форматы ONNX и safetensors. Модель предназначена для транскрибирования шведской речи из аудио. По умолчанию используется вариант Stage 2; доступны версии с более сжатым стилем расшифровки Subtitle и более дословным Strict. В описанных тестах на FLEURS, CommonVoice и NST версия base показала WER 9,1, 8,7 и 7,8 соответственно. Модель лицензирована по Apache-2.0. README не сообщает об ограничениях на типы аудио или условиях качества записи.

KB-Whisper Large — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab). Это дообученная версия Whisper large-v3 от OpenAI с архитектурой Whisper и примерно 905 млн параметров; модель принимает аудио и генерирует текстовые транскрипции. Она предназначена прежде всего для шведской речи: обучение проводилось на более чем 50 000 часах шведского аудио с текстовыми расшифровками, а в оценках на FLEURS, CommonVoice и NST авторы сообщают о среднем снижении WER на 47% относительно исходной Whisper large-v3. Доступны варианты транскрипции с разной степенью подробности: стандартный Stage 2, более сжатый Subtitle и более дословный Strict. Модель можно использовать через Transformers, а также в форматах ONNX и CTranslate2; карточка также описывает применение с WhisperX для получения временных меток слов. Лицензия — Apache-2.0. Основное назначение — транскрибация шведской речи; карточка не приводит отдельных ограничений качества для других языков.

KB-Whisper Tiny — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) как часть семейства Whisper. Это дообученная версия OpenAI Whisper Tiny с архитектурой Whisper; в метаданных указано 29,4 млн параметров. Модель принимает аудио и преобразует шведскую речь в текст. Она обучена на более чем 50 000 часах шведской аудиозаписи с транскрипциями и предназначена для распознавания речи в аудиозаписях и создания расшифровок. По README, на тестах FLEURS, CommonVoice и NST версия tiny показала WER 13,2, 12,9 и 11,2 соответственно; доступны стили транскрипции Stage 2, Subtitle и Strict. Репозиторий содержит веса в форматах Safetensors и ONNX, а автор также описывает варианты для whisper.cpp и CTranslate2. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанным наборам и условиям оценки; для других аудио качество может отличаться.

Leum-VL-8B-preview0320 — мультимодальная модель с открытыми весами, разработанная командой Leum и дообученная на базе Qwen/Qwen3-VL-8B-Instruct. Это плотная модель семейства Qwen3-VL с 8 млрд параметров, предназначенная для структурного анализа коротких интернет-видео с привязкой выводов к временной шкале. Она описывает содержание по шести измерениям: объекты и участники, визуальный стиль, язык камеры, монтаж, повествование и наблюдаемые признаки распространения контента. Модель принимает видео и формирует текстовые структурированные выводы, пригодные для поиска, индексации и анализа. Она рассчитана на разбор хуков и сюжетного развития, переходов между кадрами, темпа монтажа, экранного текста, а также согласованности ролика с обложкой, заголовком и хештегами; связанные комментарии могут учитываться, если предоставлены. В карточке приведены языки zh и en. Для оценки использовались настройки до 768 кадров и до 50 тыс. токенов на видео, но это параметры бенчмарка, а не заявленный предел контекста. Модель обучалась с полным обновлением параметров визуального энкодера, проектора и языковой модели, включая continual pretraining, supervised fine-tuning и RLHF. Лицензия — MIT. Веса помечены как открытые; в карточке пока нет проверенных примеров API и окончательной схемы вывода.

LinTO STT French FastConformer — модель распознавания французской речи, разработанная LinAGORA и дообученная на базе NVIDIA FastConformer Hybrid Large. Она преобразует аудио в текст и подходит для пакетной и потоковой транскрибации, в том числе в составе сервиса LinTO STT. Модель содержит 115 млн параметров и обучена с использованием гибридных Transducer- и CTC-потерь; по умолчанию используется Transducer. Для обучения применено более 9500 часов французской речи: чтение, спонтанная речь, разговоры и встречи, различные акценты и условия записи. Модель выдаёт текст только строчными буквами, без пунктуации. Модель предназначена для транскрибации французской речи. Она может хуже распознавать редкую лексику, сильные акценты и речь нескольких людей, говорящих одновременно. Лицензия — CC-BY-4.0.

LLaDA2.0-Uni — мультимодальная диффузионная языковая модель с архитектурой Mixture-of-Experts от AGI Research Center, Inclusion AI. Она объединяет понимание изображений и генерацию изображений в одной модели: принимает текстовые инструкции и изображения, отвечает на вопросы по визуальному содержимому, описывает изображения, разбирает документы, создаёт изображения по тексту и редактирует их по инструкциям с одной или несколькими референсными картинками. Модель построена на базе inclusionAI/LLaDA2.0-mini и использует парадигму предсказания маскированных токенов и дискретный визуальный токенизатор SigLIP-VQ. В репозитории указаны 1,2 млрд параметров и контекст 8192 токена; веса доступны в формате Safetensors. Для генерации и редактирования изображений применяется отдельный диффузионный декодер. Разработчики также описывают ускорение Sprint и дистиллированный режим декодера, сокращающий генерацию до 8 шагов. Модель ориентирована на мультимодальные сценарии, где нужно сочетать визуальный анализ и генерацию. README указывает поддержку английского языка. Лицензия — Apache-2.0. Для инференса требуется значительный объём видеопамяти: в README приведены оценки для компонентов большей конфигурации, которые расходятся с указанным в метаданных общим числом параметров; поэтому эти оценки нельзя напрямую считать требованиями именно к этому опубликованному чекпойнту.

LLaDA-Image — открытая унифицированная модель генерации и редактирования изображений, разработанная InclusionAI. Это чекпойнт на 6 млрд параметров в формате Diffusers и safetensors; модель использует диффузионный подход и принимает текстовый запрос, а для редактирования — также исходное изображение. Базовая версия предназначена для генерации изображений высокого качества и редактирования по инструкции, а отдельная версия Turbo ускоряет эти сценарии за счёт дистилляции и генерации за 2–4 шага. Модель ориентирована на фотореалистичные сцены, изображения с естественным освещением и деталями, плакаты с читаемым текстом, а также точечные изменения с сохранением содержимого исходного изображения. Поддерживаются английский и китайский языки, включая отрисовку текста на них. Для обычной генерации рекомендовано 50 шагов; Turbo рассчитана на быстрый вывод. Репозиторий предоставляет веса и код инференса на Diffusers, тогда как код обучения на момент карточки не опубликован. Лицензия — Apache-2.0.

Карточка модели alpindale/Llama-3.2-11B-Vision на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-11B-Vision, поэтому описание составлено по ней. Llama 3.2-11B-Vision — мультимодальная модель Meta для анализа изображений и генерации текстовых ответов. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный визуальный адаптер с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 11 млрд параметров; она принимает изображения и текст, выдаёт текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для распознавания изображений, визуальных рассуждений, создания подписей и диалога по изображениям. Она подходит для визуальных вопросов и ответов, извлечения сведений из изображений документов, поиска соответствий между изображениями и текстом, а также привязки текстовых описаний к областям изображения. Для задач с изображениями официально поддерживается английский язык; в текстовых задачах также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель основана на Llama 3.1 и включает визуальный адаптер; для настроенных версий семейства применяются supervised fine-tuning и обучение с обратной связью от людей. Это статический чекпойнт, обученный на офлайн-данных с отсечкой знаний в декабре 2023 года. Использование регулируется Llama 3.2 Community License — специальной лицензией с коммерческими условиями и Acceptable Use Policy.

Llama 3.2 90B Vision — мультимодальная модель Meta для анализа изображений и генерации ответов на текстовые запросы о них. Она построена на авторегрессионной архитектуре Transformer семейства Llama 3.1 и использует отдельно обученный адаптер зрения с cross-attention, который передаёт представления изображений в языковую модель. Размер модели — 90B параметров; она принимает текст и изображения и выдаёт текст, поддерживает контекст длиной до 128 тыс. токенов. Модель предназначена для визуального распознавания и рассуждений, описания изображений, ответов на вопросы по изображениям и диалогов с визуальным содержимым. Также в карточке указаны сценарии DocVQA, поиска соответствий между изображениями и текстом, а также визуального заземления языковых описаний на объекты или области изображения. Для приложений с изображениями и текстом официально поддерживается английский язык; в текстовых задачах поддерживаются также немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель выпущена Meta в сентябре 2024 года и доступна по лицензии Llama 3.2 Community License — специальному соглашению, условия которого следует учитывать при коммерческом и исследовательском применении. Это статическая модель, обученная на офлайн-данных; сведения о дате отсечения знаний — декабрь 2023 года.

mskayacioglu/mbart50-xlsum — многоязычная модель для абстрактивного суммирования новостных статей, разработанная в рамках проекта samurAI. Она дообучена на 15 языковых поднаборах GEM/xlsum на основе facebook/mbart-large-50-many-to-many-mmt и использует архитектуру MBartForConditionalGeneration; размер — 457,4 млн параметров. Модель предназначена для создания кратких сводок новостей и интеграции в конвейеры обработки новостных лент с проверкой человеком. Модель поддерживает арабский, китайский, английский, французский, хинди, индонезийский, японский, корейский, персидский, португальский, русский, испанский, турецкий, украинский и вьетнамский языки. Контекст — до 1024 токенов, однако при обучении и оценке статьи обрезались до 512 токенов. Весовые файлы доступны в формате safetensors. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов на той же лицензии, но запрещает коммерческое использование. Модель подходит для подготовки черновых сводок новостных статей и сравнительных исследований многоязычного суммирования. Она может выдумывать факты, имена, даты, числа и причинно-следственные связи; результаты оценки охватывают 11 языков, поэтому качество на остальных языках этими результатами не подтверждено. Перед публикацией сводки следует сверять с исходной статьёй; качество может снижаться на текстах вне новостного корпуса BBC и в специализированных областях.

IlyaGusev/mbart_ru_sum_gazeta — русскоязычная модель автоматического суммирования новостных статей, портированная из fairseq. Она основана на архитектуре mBART и содержит 457,4 млн параметров; модель принимает текст и генерирует краткое текстовое изложение. Обучение и оценка проводились на новостном датасете Gazeta, с максимальной длиной входа 600 токенов в указанных экспериментах и контекстным окном 1024 токена по метаданным. Модель предназначена прежде всего для суммирования статей Gazeta.ru. В тестах на версиях датасета Gazeta она показала ROUGE-1 F1 32,4 и 28,7 соответственно. На материалах других изданий возможно ухудшение качества из-за различий домена. Лицензия — Apache-2.0.

mskayacioglu/mbart-xlsum-2 — многоязычная модель для абстрактивного суммирования новостных статей, разработанная в рамках проекта samurAI. Она построена на архитектуре mBART-50 и дообучена из facebook/mbart-large-50-many-to-many-mmt на 15 языковых поднаборах датасета XL-Sum. Модель содержит 457,4 млн параметров, принимает текст и генерирует краткое изложение; максимальная длина контекста составляет 1024 токена. Модель предназначена для суммирования новостей на арабском, китайском, английском, французском, хинди, индонезийском, японском, корейском, персидском, португальском, русском, испанском, турецком, украинском и вьетнамском языках, а также для исследовательских экспериментов и новостных конвейеров с проверкой человеком. При обучении использовалась выборка XL-Sum с BBC-статьями; оценка по общему протоколу проведена для 11 языков. Вариант обучения применяет сглаженное перераспределение данных между языками и короткие целевые сводки. Модель может пропускать важные сведения в длинных статьях, выдумывать факты, имена, даты и причинно-следственные связи; результаты на источниках и тематиках вне новостей BBC могут быть хуже. Авторы рекомендуют сверять сводки с исходной статьёй и не использовать их без проверки для принятия важных решений. Лицензия — CC-BY-NC-SA-4.0, ограничивающая коммерческое использование.

Ming-Lite-Omni v1.5 — мультимодальная модель семейства BailingMM, выпущенная командой inclusionAI. Она предназначена для понимания изображений, документов, видео и речи, а также для синтеза речи, генерации и редактирования изображений. В README указано 20,3 млрд параметров, из которых 3 млрд активны в блоке Mixture-of-Experts; модель построена на Ling-lite-1.5 и развивает Ming-Lite-Omni. Модель рассчитана на мультимодальные сценарии: анализ визуальных последовательностей, распознавание и понимание текста в документах и диаграммах, понимание речи и генерация речи в реальном времени, а также создание и редактирование изображений. Разработчики сообщают об улучшениях понимания длинных видео и согласованности при генерации и редактировании изображений. В README приведены сравнительные результаты на ряде бенчмарков, но они не гарантируют качество на конкретных данных. Репозиторий содержит файлы ONNX и Safetensors. Лицензия — MIT. Карточка не сообщает длину контекста и список поддерживаемых естественных языков; README упоминает расширение речевых данных, включая диалекты, без указания языковых кодов.

MiniMax H3 — мультимодальная генеративная система, разработанная MiniMax. Модель понимает контексты, объединяющие текст, изображения, видео и аудио, и генерирует видео с синхронизированным стереозвуком. Репозиторий содержит вариант MiniMax-H3-fp8 и рассчитан на использование с библиотекой minimax-h3.

fal/moondream2-docci-instruct — дообученная модель семейства Moondream для создания подробных описаний изображений. Она разработана на основе Moondream2 и обучена на наборах gokaygokay/random_instruct_docci и, согласно метаданным, google/docci. Модель принимает изображение и текстовый запрос, а в ответ генерирует текст; основное назначение — подробное описание визуальных сцен и объектов. Модель относится к архитектуре Moondream и распространяется в формате safetensors. Карточка указывает на использование Transformers и лицензию Apache-2.0. В README нет количественной оценки качества или описания предельного разрешения и контекста, поэтому эти характеристики здесь не приводятся.

Moondream-Caption — компактная мультимодальная модель семейства Moondream, разработанная wraps на основе vikhyatk/moondream2 и дообученная для создания описаний изображений. Она принимает изображение и генерирует текстовую подпись с описанием видимых объектов и сцены. Модель рассчитана на автоматическое составление подписей к изображениям, например для их каталогизации или добавления текстовых описаний. В качестве обучающих данных использован набор изображений, созданных с помощью flux1_dev, с проверенными описаниями. Модель работает через библиотеку Transformers; файлы весов представлены в формате safetensors. Результаты могут быть менее точными на изображениях, заметно отличающихся от обучающих данных, а также на сложных или абстрактных сценах. Лицензия — Apache-2.0.