IV.9Медиа, журналистика, культура, архивы и игры

MOSS-TTSD — разработанная OpenMOSS-Team открытая модель синтеза диалоговой речи на китайском и английском языках. Она преобразует сценарии диалога двух собеседников в выразительную разговорную речь с естественной просодией и переключением между голосами. Модель поддерживает клонирование голосов двух говорящих без дополнительного обучения и генерацию речи в одной сессии длительностью до 960 секунд. В основе — дообученная Qwen3-1.7B-Base с архитектурой Qwen3 и акустическим кодеком; размер составляет 1,7 млрд параметров, контекст — 32 768 токенов. Модель предназначена, в частности, для создания подкастов и озвучивания диалоговых сценариев. Лицензия Apache-2.0 допускает коммерческое использование. В README заявлено, что модель генерирует речь на китайском и английском; качество и поддержка других языков не описаны.

MOSS-TTS-Local 4.55B Voice Acting — модель синтеза речи, разработанная LAION. Это плотный локальный трансформер с 4,55 млрд параметров и 12-кодековой RVQ-архитектурой; он создаёт аудио с частотой дискретизации 48 кГц. Модель предназначена для выразительной озвучки: естественно-языковые инструкции режиссёра задают эмоции, манеру речи и голосовые эффекты, включая смех, вздохи и вскрики. Поддерживаются английский и немецкий языки, в том числе генерация без образца референсного аудио. В репозитории находятся объединённые веса: адаптер voice-acting LoRA уже включён в дообученную модель. Модель подходит для озвучивания персонажей, диалогов, эмоциональных реплик и создания наборов голосовых данных. В README приведены примеры и результаты экспериментов по подбору инструкций для разных голосовых архетипов. Лицензия — Apache-2.0.

MOVA — открытая мультимодальная модель команды OpenMOSS для совместной генерации видео и синхронизированного с ним звука. Она предназначена для создания видео по изображению и текстовому описанию, а также по одному текстовому описанию. Модель генерирует аудио и видео за один проход, поддерживает синхронизацию речи с движением губ и создание звуков окружения. Архитектура MOVA состоит из двух асимметричных башен для видео и аудио, объединённых двунаправленным cross-attention, и использует Mixture-of-Experts. В README указано 32 млрд параметров суммарно, из них 18 млрд активны при инференсе. Репозиторий содержит веса в формате safetensors для Diffusers. Лицензия — Apache-2.0. Для запуска и использования весов авторы направляют к инструкциям на GitHub; модель также предусматривает LoRA-дообучение. Заявлены многоязычная синхронизация губ и генерация звуков с учётом окружения. В README нет конкретных языковых кодов, сведений о длине контекста или детальных требований к аппаратному обеспечению; генерация видео и аудио может требовать значительных вычислительных ресурсов.

hnguyentran03/mpnet-game — модель Sentence Transformers, дообученная на базе sentence-transformers/all-mpnet-base-v2 для сравнения описаний видеоигр. Она кодирует предложения и абзацы в плотные векторы размерности 768; сходство между ними можно оценивать по косинусному расстоянию. Архитектура включает MPNet, усреднение токенных представлений и нормализацию. README указывает максимальную длину последовательности 384 токена, а метаданные — нативный контекст 514 токенов. Модель подходит для семантического поиска по описаниям игр, ранжирования похожих игр, поиска перефразировок и кластеризации игровых описаний. Обучение с CoSENTLoss проводилось на парах описаний игр с оценками сходства; в README также приведены результаты оценки семантического сходства. Модель рассчитана на текстовый ввод и выдаёт эмбеддинги, а не готовые ответы или метки. В карточке не указана лицензия, поэтому условия распространения и коммерческого использования следует проверить в метаданных репозитория перед применением. Результаты могут зависеть от языка и тематики входных текстов; описания игр — основная подтверждённая область обучения.

mufa.ai — модель генерации изображений по текстовому описанию, созданная методом слияния весов Weighted Sum. В смеси использованы Stable Diffusion v1.5 с весом 40% и Realistic Vision V5.1 с весом 60%; модель предназначена для создания реалистичных цифровых изображений и доступна в формате Diffusers с весами Safetensors. Модель ориентирована на фотореалистичные изображения с заметными деталями и естественным освещением. Для лучших результатов автор рекомендует составлять подробные промпты на английском языке. Размер модели указан примерно как 2 ГБ в float16. Лицензия — MIT.

SeyedAli/Musical-genres-Classification-Hubert-V1 — модель SeyedAli для классификации музыкальных жанров по аудио. Это дообученная на GTZAN модель NTU SPML distilhubert с архитектурой HuBERT; число параметров — 18,9 млн. Для оценки на тестовой выборке указана точность 0,84 и loss 0,5068. Модель предназначена для автоматической жанровой разметки музыкальных записей и может использоваться в музыкальных каталогах и системах организации аудиоколлекций. Веса доступны в форматах PyTorch и Safetensors по лицензии Apache-2.0. Карточка не описывает ограничения и детали подготовки данных.

Модель dima806/musical_instrument_detection — дообученная модель на архитектуре wav2vec 2.0 для классификации аудио по музыкальным инструментам. Она принимает аудиосигнал и предсказывает класс, связанный с музыкальным инструментом. В основе лежит facebook/wav2vec2-base-960h; модель содержит 113,3 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для распознавания музыкальных инструментов в аудиозаписях. Она опубликована на Hugging Face 25 августа 2023 года и распространяется по лицензии Apache 2.0. Базовая модель обучалась для транскрибирования английской речи, поэтому её пригодность для музыкального аудио зависит от дообучения; README не приводит подробностей о наборах классов и оценке качества.

NbAiLab/nb-wav2vec2-1b-bokmaal-v2 — модель автоматического распознавания речи, опубликованная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует норвежскую речь на букмоле в текст и предназначена для транскрибирования аудиозаписей. Модель использует архитектуру Wav2Vec2 с классификатором CTC и содержит 1,3 млрд параметров; карточка указывает применение через Transformers и лицензию Apache-2.0. Родственная модель NbAiLab с названием без суффикса v2 дообучена на основе XLS-R и оценивалась на норвежском корпусе парламентской речи; найденные материалы не позволяют уверенно переносить эти результаты на версию v2. Распознавание оптимизировано для букмола, поэтому качество на других языках и вариантах норвежского не подтверждено.

NbAiLab создала эту модель распознавания речи на норвежском языке букмол для проекта Robust Speech Event. Это дообученная версия экстрактора признаков VoxRex Национальной библиотеки Швеции на архитектуре Wav2Vec2 с CTC-декодированием; в метаданных указано 402,7 млн параметров. Основным источником обучающих данных был корпус парламентских выступлений NPSC. Модель преобразует аудио в текст и рассчитана прежде всего на автоматическую транскрипцию речи на букмоле, в том числе парламентских выступлений. На тестовом наборе она показала WER 7,03% и CER 2,69% с 5-граммовой языковой моделью KenLM; без неё показатели составили 9,79% и 3,11%. Использование языковой модели улучшает результат. Репозиторий содержит веса в форматах PyTorch и Safetensors, лицензия — Apache-2.0.

NepSummBART — модель для автоматического суммирования текстов на непальском языке, разработанная Виҷая Бхаттой, Паскалем Раи, Нираджаном Шрестхой, Дришти Сигдел, Суджаном Непане и Сагаром Кафле. Она основана на архитектуре BART: предварительно обучена на корпусе непальских текстов с задачей восстановления зашумлённого текста, затем дообучена на данных для суммирования. Модель содержит 98,9 млн параметров и рассчитана на контекст до 1000 токенов. Модель принимает текст и генерирует его краткое содержание. В оценке на тестовой части BBC XLSum Nepali указаны ROUGE-1 0,177, ROUGE-2 0,059 и ROUGE-L 0,154. Авторы отмечают, что копирование текста из контекста кодировщика может ухудшать качество абстрактивного суммирования. Репозиторий распространяется по лицензии MIT.

Модель dima806/news-category-classifier-distilbert классифицирует текст новостей по категориям. Это дообученная для классификации последовательностей модель на базе google-bert/bert-base-uncased, разработанная автором репозитория dima806. Она принимает текст и возвращает категорию новости. Модель использует архитектуру BERT и доступна в форматах PyTorch и Safetensors; размер составляет 136,7 млн параметров, максимальная длина контекста — 512 токенов. Модель предназначена для автоматической тематической сортировки новостных материалов и категоризации текстов в новостных потоках. Базовая модель англоязычная, поэтому классификатор ориентирован на английский текст. Лицензия — Apache-2.0.

Nexus-Gen — мультимодальная модель от ModelScope, объединяющая языковую модель Qwen2.5-VL и декодер изображений на основе диффузии. В ней используется двухэтапное обучение для согласования представлений: языковая модель предсказывает эмбеддинги изображения по мультимодальному вводу, а декодер восстанавливает из них изображение. Размер модели — 7,1 млрд параметров, заявленная длина контекста — 128 000 токенов. Модель предназначена для понимания изображений, генерации изображений по текстовым запросам и редактирования изображений. После дообучения на BLIP3o-60k авторы сообщают о результате 0,79 на GenEval и улучшенной работе с текстовыми запросами для генерации. Модель опубликована в формате safetensors и использует библиотеку Transformers; лицензия — Apache-2.0. По README, основное обучение и следование инструкциям рассчитаны на английский язык. Авторы отмечают ограниченную устойчивость к коротким запросам из-за ограниченного объёма данных для генерации изображений; поддержка инструкций на других языках не заявлена.

Amazon Nova Pro 1.0 — мультимодальная модель Amazon для широкого круга задач, сочетающая точность, скорость и экономичность. Каталог классифицирует её как модель image-text-to-text, то есть она предназначена для обработки изображений и текста с выдачей текстовых ответов. Доступная карточка не содержит сведений об архитектуре, размере, контекстном окне, языках или лицензии.

Openjourney v2 — модель генерации изображений по текстовому описанию, созданная PromptHero и дообученная на более чем 60 тысячах изображений Midjourney. Она основана на Stable Diffusion 1.5 и предназначена для создания изображений в эстетике Midjourney по текстовым запросам; добавлять маркер стиля «mdjrny-v4» для этого не требуется. В карточке указаны обучение в течение 4500 шагов и трёх эпох, а также форматы Diffusers и PyTorch. Модель распространяется по лицензии CreativeML OpenRAIL-M. README описывает репозиторий как тестирование первой тонко настроенной версии Openjourney, поэтому качество и область применения следует оценивать с учётом этого статуса.

OpenSDI-Flux.1-SigLIP2 — модель классификации изображений, созданная на основе google/siglip2-base-patch16-224 и дообученная для различения реальных фотографий и изображений, сгенерированных Flux.1. Она использует архитектуру SiglipForImageClassification и доступна в формате safetensors для библиотеки Transformers; лицензия — Apache-2.0. Модель предназначена для проверки происхождения изображений: оценки генеративных моделей, аудита наборов данных, выявления синтетических визуальных материалов и проверки подлинности медиа. В отчёте README указана точность 91,66% на тестовой выборке из 20 000 изображений, поровну представленных двумя классами. Лучше работает с чёткими изображениями; шумные изображения не рекомендуются для проверки. Обучение ориентировано на обнаружение именно изображений Flux.1, поэтому результаты для других генераторов или условий съёмки могут отличаться.

Lexica Aperture V3.5 Community Edition — модель генерации изображений по текстовому описанию в формате Diffusers с весами Safetensors. В карточке приведены примеры промптов для создания цифровых иллюстраций и фотореалистичных сцен: от сюрреалистической живописи до портретов и фантастических существ. В README указано, что версия собрана с VAE 840K, встроенным в веса. Модель предназначена для генерации изображений по текстовым промптам. В метаданных указана библиотека Diffusers и лицензия CreativeML OpenRAIL-M. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки; примеры промптов написаны на английском.

zeromodels/owlvit-base-patch16 — конверсия модели OWL-ViT от Google в формате Keras 3, распространяемая проектом zeromodels. Это модель обнаружения объектов с открытым словарём: она находит на изображениях объекты, описанные свободными текстовыми запросами, без фиксированного набора классов. Архитектура использует визуальный и текстовый энкодеры в стиле CLIP и лёгкую голову предсказания рамок для каждого патча изображения; кандидаты оцениваются по косинусному сходству с текстовыми запросами. Модель предназначена для поиска объектов по текстовому описанию, в том числе классов, не заданных при обучении. Реализация Keras 3 рассчитана на запуск с TensorFlow, Torch или JAX. Для модели указана лицензия Apache 2.0. Порог обнаружения для открытого словаря часто требуется выбирать ниже, чем у детекторов с фиксированными классами.

Карточка модели fal/paligemma-3b-mix-224 на Hugging Face совпадает с карточкой google/paligemma-3b-mix-224, поэтому описание составлено по ней. PaliGemma 3B Mix 224 — разработанная Google компактная модель «зрение—язык», сочетающая визуальный компонент SigLIP и языковую модель Gemma. Она принимает изображения и текст, а в ответ генерирует текст; вариант 224 использует разрешение изображений 224 пикселя. Модель предназначена прежде всего для дообучения под конкретную задачу и поддерживает несколько языков. После адаптации модель можно применять для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Среди возможных специализированных сценариев — вопросы по снимкам дистанционного зондирования, помощь людям с нарушениями зрения и описание функций элементов интерфейса. Это модель с одним ходом, не предназначенная для многошагового диалога. Модель лучше работает с чёткими инструкциями; без дообучения её результаты на отдельных задачах могут уступать специализированным моделям. Она может ошибаться в фактах и сложных рассуждениях, а также отражать смещения обучающих данных. Лицензия — Gemma; для Gemma действуют условия и ограничения использования, указанные Google.

PaliGemma 3B Mix 224 — разработанная Google компактная модель «зрение—язык», сочетающая визуальный компонент SigLIP и языковую модель Gemma. Она принимает изображения и текст, а в ответ генерирует текст; вариант 224 использует разрешение изображений 224 пикселя. Модель предназначена прежде всего для дообучения под конкретную задачу и поддерживает несколько языков. После адаптации модель можно применять для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Среди возможных специализированных сценариев — вопросы по снимкам дистанционного зондирования, помощь людям с нарушениями зрения и описание функций элементов интерфейса. Это модель с одним ходом, не предназначенная для многошагового диалога. Модель лучше работает с чёткими инструкциями; без дообучения её результаты на отдельных задачах могут уступать специализированным моделям. Она может ошибаться в фактах и сложных рассуждениях, а также отражать смещения обучающих данных. Лицензия — Gemma; для Gemma действуют условия и ограничения использования, указанные Google.

PhoWhisper-medium — версия модели распознавания речи PhoWhisper, разработанная авторами Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это дообученная многоязычная Whisper с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров; модель принимает аудио и преобразует вьетнамскую речь в текст. Модель предназначена для автоматического распознавания вьетнамской речи с учётом разных акцентов. При дообучении использовался набор данных объёмом 844 часа; авторы сообщают о высоких результатах на тестах распознавания вьетнамской речи. Поддерживается задача automatic-speech-recognition, формат весов — PyTorch. Модель распространяется по лицензии BSD 3-Clause. Карточка не приводит сведений о длине контекста или известных ограничениях качества; результаты могут различаться в зависимости от акцента и условий записи.

PixArt-Sigma-900M — модель генерации изображений по текстовому описанию на архитектуре PixArt Sigma. Эта версия содержит 900 млн параметров; в README сказано, что она расширена относительно базовой версии PixArt Sigma на 600 млн параметров. Модель основана на адаптации jimmycarter модели PixArt Sigma от PIXART-Σ. Модель предназначена для создания изображений по текстовым запросам. README заявляет об улучшенном качестве генерации, но не приводит количественных оценок или подробностей о методе расширения модели. Репозиторий использует Diffusers и формат safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о поддерживаемых языках запросов или ограничениях качества и областях применения.

PixelWave 10 — модель генерации изображений по текстовому описанию, созданная humblemikey на основе дообучения. Она предназначена для создания как художественных изображений, так и фотографий; версия 10 дополнительно обучалась на CLIP-моделях, чтобы улучшить следование запросу и разнообразие стилей. Модель использует StableDiffusionXLPipeline и распространяется в формате Diffusers с весами safetensors. Для генерации можно задавать стиль изображения в запросе; автор приводит рекомендуемые параметры семплирования и отмечает, что отдельный refiner не требуется. Модель рассчитана на англоязычные запросы. Лицензия — CreativeML Open RAIL-M.

Yntec/Playground — конвертированная в формат Diffusers версия модели Playground для генерации изображений по текстовому описанию. Карточка связывает её с PlaygroundAI и приводит примеры запросов для создания цифровой живописи, аниме и фантастических сцен. Модель принимает текстовые запросы и выдаёт изображения. Репозиторий содержит веса в формате Safetensors; для работы указана библиотека Diffusers. Лицензия — CreativeML Open RAIL-M. Размер модели, архитектура в карточке и длина контекста не указаны.

Playground v2 – 1024px Aesthetic — диффузионная модель генерации изображений по тексту, разработанная исследовательской командой Playground и обученная с нуля. Она предназначена для создания эстетически выразительных изображений размером 1024×1024 по текстовым запросам и может использоваться через Hugging Face Diffusers, Automatic1111 и ComfyUI. Модель построена на архитектуре Latent Diffusion с двумя фиксированными предварительно обученными текстовыми энкодерами — OpenCLIP-ViT/G и CLIP-ViT/L — и следует архитектуре Stable Diffusion XL. По результатам пользовательского исследования Playground изображения модели предпочитали изображениям Stable Diffusion XL в 2,5 раза чаще; это результат исследования разработчика, а не гарантия для каждого запроса. Модель предназначена для генерации изображений общего назначения с акцентом на визуальную эстетику. В README указана лицензия Playground v2 Community License; перед использованием следует ознакомиться с её условиями.

PotoPhotoRealism_v1 — модель генерации изображений по текстовому описанию в формате Stable Diffusion Diffusers. Карточка содержит демонстрационные изображения исходного автора, но не сообщает разработчика, размер модели, базовый чекпойнт, архитектуру точнее семейства Stable Diffusion, языки или рекомендованные сценарии использования. Модель принимает текстовые запросы и создаёт изображения. Репозиторий содержит файлы в форматах Diffusers, PyTorch и SafeTensors. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в файлах репозитория.

ProteusV0.1 — модель генерации изображений по текстовому описанию от dataautogpt3, созданная на основе OpenDalleV1.1. Её дообучили примерно на 220 тысячах изображений с подписями GPTV, включая фотографии из стоков с открытой лицензией и часть аниме-изображений, а также применили оптимизацию предпочтений DPO на 10 тысячах пар изображений, созданных ИИ. Модель распространяется в формате Diffusers и поддерживает StableDiffusionXLPipeline. Модель предназначена для создания изображений по промптам в разных стилях, включая фотореализм, сюрреализм, аниме и мультфильмы. В карточке отмечены улучшенная отзывчивость к запросам, проработка черт лица и реалистичных текстур кожи. Для генерации автор рекомендует разрешение 1024×1024 или 1280×1280, 20–40 шагов, CFG 7–8 и сэмплер DPM++ 2M SDE с планировщиком Karras. Модель лицензирована по GPL-3.0. Качество результата зависит от формулировки запроса и настроек генерации; в README не приведены количественные результаты сравнительных оценок.

Protogen x3.4 — модель генерации изображений по текстовому описанию, разработанная darkstorm2150. Она основана на Stable Diffusion v1.5: обучение началось с этой модели, а версия 3.4 продолжила обучение Protogen v2.2 с усилением фотореалистичной стилистики. Модель предназначена для создания художественных и фотореалистичных изображений по промптам; в README указаны триггерные слова modelshoot style, analog style, mdjrny-v4 style и nousr robot. Модель доступна в форматах Diffusers и PyTorch, включая файлы Safetensors и контрольные точки в полной и pruned fp16 версиях. Для использования подходят Stable Diffusion Pipeline и интерфейс Stable Diffusion WebUI. Лицензия — CreativeML OpenRAIL-M.

ProtoVision XL High Fidel — модель генерации изображений по текстовому описанию, распространяемая через сервис ModelsLab. В карточке Hugging Face указан конвейер text-to-image и совместимость с StableDiffusionXLPipeline; репозиторий содержит веса в формате Diffusers и Safetensors. README демонстрирует генерацию фотореалистичных портретов с настройками размера изображения, числа шагов и guidance scale, а также поддерживает negative prompt и дополнительные LoRA и embeddings через API ModelsLab. Модель подходит для создания реалистичных портретов и художественных сцен по промпту. Для работы через показанный пример нужен API-ключ ModelsLab; карточка указывает лицензию CreativeML OpenRAIL-M. README не сообщает размер модели, длину контекста или языки, а пример API задаёт multi_lingual как «no», поэтому не следует считать многоязычную обработку подтверждённой.

PRX-1024-t2i-beta — модель генерации изображений по текстовому описанию, разработанная Photoroom. Это предварительный вариант семейства PRX с разрешением 1024 пикселя; модель обучена с нуля и затем прошла supervised fine-tuning (SFT). Она использует упрощённую архитектуру на основе MMDiT, flow matching и текстовый энкодер T5-Gemma-2B-2B-UL2 для многоязычного ввода. В качестве латентного кодировщика применяется Flux VAE. Модель предназначена для создания изображений по промптам и служит открытой базовой моделью для генерации, тонкой настройки и изучения диффузионных трансформеров. Репозиторий рассчитан на использование с Diffusers и содержит веса в формате safetensors. Лицензия — Apache 2.0; также действуют ограничения Gemma Prohibited Use Policy и требования применимого законодательства.

Qwen3.5-Flash — модель семейства Qwen3.5 от Qwen, предназначенная для работы с изображениями и текстом. По доступным сведениям, она использует гибридную архитектуру, сочетающую линейный механизм внимания и разреженную смесь экспертов (MoE), чтобы повысить эффективность инференса. Модель подходит для сценариев, где нужно анализировать визуальный материал и формировать текстовый ответ. README сообщает об архитектуре, но доступный фрагмент не раскрывает конкретные возможности, языки, размер модели или длину контекста. Лицензия в предоставленных данных не указана.