IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейrubaiSTT-2v Medium — модель распознавания речи на основе Whisper Medium, дообученная автором islomov для транскрибирования узбекской речи. Она принимает аудио и выдаёт текст; особенно хорошо обучена на материалах ташкентского диалекта. В метаданных указано 455,8 млн параметров, тогда как README приводит для базовой модели 769 млн; README также сообщает о WER около 17% и CER около 5,5%. Эти показатели относятся к оценке автора и зависят от тестовых данных. Модель обучена примерно на 475 часах узбекского аудио: подкастах, новостях, материалах Common Voice 17, USC и Google FLEURS. По README, половина транскрипций подготовлена людьми, половина — автоматически с помощью Gemini 2.5 Pro. В набор вошли записи с акцентом на ташкентский диалект; другие региональные варианты пока охвачены слабее. Репозиторий распространяется по лицензии Apache-2.0.
Lawrence-cj/Sana_1600M_1024px_BF16_diffusers_ch5632 — вариант модели Sana, опубликованный пользователем Lawrence-cj и основанный на разработке NVIDIA/NVlabs. Это модель преобразования текста в изображение, предназначенная для генерации изображений по текстовым описаниям через библиотеку Diffusers. Модель содержит около 1,6 млрд параметров, использует архитектуру SanaTransformer2DModel с текстовым энкодером Gemma2Model, токенизатором GemmaTokenizerFast, VAE AutoencoderDC и планировщиком DPMSolverMultistepScheduler. Вариант сохранён в формате BF16/Safetensors и ориентирован на генерацию изображений размером 1024×1024 пикселей. Семейство Sana заявлено как эффективное и поддерживающее многоязычную генерацию, однако конкретные языковые коды для этого репозитория не указаны. Модель подходит для создания иллюстраций, концепт-артов, рекламных изображений и других визуальных материалов по промптам. Ограничения включают зависимость результата от качества текстового запроса и параметров инференса, а также повышенные требования к памяти при локальном запуске; сведения о лицензии именно этого репозитория в доступных источниках не установлены.
Карточка модели robhowet/SenseNova-U1.5-8B-MoT на Hugging Face совпадает с карточкой developerjeremylive/SenseNova-U1.5-8B-MoT-etheroi, поэтому описание составлено по ней. SenseNova-U1.5-8B-MoT — мультимодальная модель семейства NEO-unify, опубликованная разработчиками SenseNova. Это чекпойнт с 8 млрд параметров для генерации изображений и редактирования изображений по текстовым инструкциям, включая работу с несколькими референсами и управление объектами или областями изображения. Модель поддерживает диалоговый интерфейс; веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель предназначена для создания визуальных материалов, включая плакаты, инфографику и изображения с текстом, а также для локального редактирования, вставки и замены объектов с сохранением остального содержимого. В README заявлены улучшенная генерация в разрешении до 4K, следование сложным инструкциям и управление композицией через рамки и визуальные маркеры. Указаны английский и китайский языки; карточка не приводит длину контекста. Ограничения включают ошибки в мелком или плотном тексте, несовершенное соблюдение точных требований к количеству объектов и компоновке, нестабильные мелкие детали людей и возможное смещение содержимого при сложном многошаговом редактировании. Изображения также могут получаться перенасыщенными или перегруженными деталями.
SenseNova-U1.5-8B-MoT — мультимодальная модель семейства NEO-unify, опубликованная разработчиками SenseNova. Это чекпойнт с 8 млрд параметров для генерации изображений и редактирования изображений по текстовым инструкциям, включая работу с несколькими референсами и управление объектами или областями изображения. Модель поддерживает диалоговый интерфейс; веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель предназначена для создания визуальных материалов, включая плакаты, инфографику и изображения с текстом, а также для локального редактирования, вставки и замены объектов с сохранением остального содержимого. В README заявлены улучшенная генерация в разрешении до 4K, следование сложным инструкциям и управление композицией через рамки и визуальные маркеры. Указаны английский и китайский языки; карточка не приводит длину контекста. Ограничения включают ошибки в мелком или плотном тексте, несовершенное соблюдение точных требований к количеству объектов и компоновке, нестабильные мелкие детали людей и возможное смещение содержимого при сложном многошаговом редактировании. Изображения также могут получаться перенасыщенными или перегруженными деталями.
SkyCaptioner-V1 — модель Skywork для структурированного описания видео, основанная на архитектуре Qwen2.5-VL и дообученная на видеоданных с экспертной разметкой. Она формирует подписи с деталями о субъектах и их действиях, типе и ракурсе кадра, положении камеры, движении камеры, окружении и освещении. Модель насчитывает 7,1 млрд параметров, принимает видео и выдаёт текст; заявленная длина контекста составляет 128 000 токенов. Модель предназначена для плотного описания видео и подготовки кратких текстовых подсказок для задач генерации видео из текста или изображения. Для объединения структурированных полей в связное описание авторы предлагают использовать отдельную модель Qwen2.5-32B-Instruct. В README заявлено обучение примерно на двух миллионах видео и улучшение результатов на специализированных задачах описания кинематографических планов и движений камеры. Модель доступна по лицензии Apache-2.0. Карточка описывает её возможности для видео; поддержка других языков или режимов ввода здесь не подтверждена.
Stable Diffusion v1-2 — модель генерации изображений по текстовому описанию, разработанная CompVis. Это латентная диффузионная модель, опубликованная в формате Diffusers и PyTorch; репозиторий также содержит веса Safetensors. Чекпойнт продолжает обучение Stable Diffusion v1-1: его дообучали 515 тысяч шагов при разрешении 512×512 на отфильтрованной эстетически оценённой подвыборке LAION-2B. Модель предназначена для создания изображений по текстовым запросам, включая фотореалистичные изображения. Обучающие данные описаны как подмножество LAION-2B-en, поэтому основная языковая ориентация — английский. В README приведена оценка на случайных запросах из COCO2017 при разрешении 512×512; она не была оптимизирована для метрики FID. Модель распространяется по лицензии CreativeML Open RAIL-M. Она генерирует изображения из текста; качество и соответствие результата запросу зависят от формулировки запроса и настроек генерации.
Карточка модели SYNAPSEai1/SynapseMusicV12-Transcriber на Hugging Face совпадает с карточкой ACE-Step/acestep-transcriber, поэтому описание составлено по ней. ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.
efederici/text2tags — модель на базе T5, дообученная на наборе из 28 тысяч новостных статей с тегами. Она генерирует подходящие теги для статьи на итальянском языке; автор также указывает возможность использовать её для информационного поиска и генерации запросов (GenQ), а также для дообучения sentence-transformers под асимметричный семантический поиск. Модель содержит 45,8 млн параметров и опубликована в форматах PyTorch и Safetensors. В карточке базовая модель обозначена как it5-small; лицензия и ограничения контекста не приведены. Основное назначение — разметка новостных текстов тематическими тегами, реализованная как суммаризация для генерации тегов.
TimeSformer Base — модель для классификации видео на основе архитектуры пространственно-временного Transformer. Она была представлена Tong и соавторами в работе «TimeSformer: Is Space-Time Attention All You Need for Video Understanding?» и дообучена для классификации по 400 категориям набора Kinetics-400. Модель содержит 113,2 млн параметров и распространяется в формате PyTorch. Модель принимает видео и определяет, к какой из 400 категорий действий Kinetics-400 оно относится. Она предназначена для распознавания действий и анализа видеоконтента. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
urt5-base-finetuned — модель для суммаризации на урду, созданная на основе архитектуры mT5 и дообученная из google/mt5-base. Вариант urT5 использует одноязычный словарь из 40 тысяч токенов урду; размер модели — 130,4 млн параметров. Модель формирует краткие пересказы текстов, поддерживая экстрактивный и абстрактивный подходы. Модель рассчитана на суммаризацию материалов на урду, в том числе новостных текстов BBC Urdu и DW Urdu. В карточке приведены оценки ROUGE-1 F: 40,03 в совокупности, 46,35 для BBC Urdu и 36,91 для DW Urdu; оценки BERTScore составляют соответственно 75,1, 77,0 и 74,16. Репозиторий содержит веса PyTorch. Лицензия и длина контекста в предоставленных данных не указаны.
VideoTemp-o3 — модель Kwai-Keye для ответов на вопросы по видео с поиском временных фрагментов, наиболее относящихся к вопросу. Она выполняет итеративное временное заземление: находит релевантный участок видео, уточняет его и формирует ответ на основе визуальных свидетельств. Модель дообучена на Qwen/Qwen2.5-VL-7B-Instruct и использует плотную архитектуру Qwen2.5-VL с 7,1 млрд параметров; заявленный контекст составляет 128 000 токенов. Поддерживаемая задача по метаданным — video-text-to-text, язык карточки — английский. Модель предназначена для видеоаналитики и агентных сценариев, где ответ нужно связать с конкретными событиями или временными интервалами ролика. Репозиторий содержит веса Safetensors. Лицензия — MIT.
VietAI/vit5-large-vietnews-summarization — модель семейства T5, разработанная VietAI и дообученная для абстрактивного реферирования новостных текстов на вьетнамском языке. Архитектура encoder-decoder позволяет по входной статье генерировать краткое связное изложение её содержания. Модель предназначена для автоматического составления кратких сводок новостей на вьетнамском. Она содержит около 389,3 млн параметров; в репозитории представлены веса PyTorch и TensorFlow. Лицензия — MIT. Длина контекста и отдельные ограничения качества в карточке не описаны.
VLRM — дообученная методом обучения с подкреплением модель BLIP-2 с языковой частью OPT-2.7B, опубликованная Сашей Куницыным. Она предназначена для генерации описаний изображений: обучение нацелено на более длинные и подробные подписи по сравнению с исходной моделью без дополнительной вычислительной нагрузки при генерации. В карточке приведены основной чекпойнт VLRM и вариант VLRM-RS. Модель принимает изображение и выдаёт текстовое описание; пример в карточке описывает сцену с женщиной и собакой. Архитектура относится к семейству BLIP-2, веса доступны в формате Safetensors, а также описана загрузка RL-настроенных весов поверх Salesforce/blip2-opt-2.7b. Карточка указывает английский язык и лицензию MIT.
Vyom TTS HI — модель синтеза речи на хинди, разработанная OpenXfi by ATX Labs. Это дообученная на базе speech-LLM Orpheus 3B модель с адаптером LoRA r=64, alpha=128 и rsLoRA, обученная в 16-битной точности. Она принимает текст на хинди и генерирует выразительную речь женским голосом в формате WAV с частотой 24 кГц с помощью нейронного вокодера SNAC. Модель предназначена для озвучивания регионального контента, аудиокниг и медиа, голосовых помощников, разговорных AI-агентов и средств чтения для людей, которым удобнее слушать текст. В оценке на 210 подсказках отдельно проверялись сложные фразы, обычная разговорная речь и числа. Для чисел авторы рекомендуют записывать их словами: синтез цифровых записей показал ограничения; английские заимствования и редкие акронимы также могут звучать с фонетическими артефактами. Модель ориентирована на хинди и не предназначена для клонирования голоса или имитации людей без разрешения. Репозиторий распространяется под лицензией MIT.
Модель GetmanY1/wav2vec2-large-fi-150k-finetuned — финская система распознавания речи на базе архитектуры Wav2Vec2 Large, разработанная Ярославом Гетманом и Тамашем Гросом. Она дообучена на 4600 часах финской речи: 1500 часах разговорной речи из Lahjoita puhetta и 3100 часах записей парламента Финляндии. В метаданных указан размер 402,7 млн параметров; модель использует архитектуру Wav2Vec2ForCTC и библиотеку Transformers. Модель предназначена для преобразования финской речи в текст, в том числе разговорной речи и парламентских выступлений. Для входного аудио требуется частота дискретизации 16 кГц. Базовая модель предварительно обучена на финской речи; чекпойнт содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Она ориентирована на финский язык; качество на других языках не заявлено.
Модель boumehdi/wav2vec2-large-xlsr-moroccan-darija — акустическая модель распознавания речи на базе wav2vec2-large-xlsr-53, дообученная разработчиком на размеченных аудиозаписях марокканской дариджи. В карточке указано, что обучение проводилось на 57 часах аудио из корпуса MDVC; разработчик постепенно добавлял данные, чтобы унифицировать запись дариджи. Модель предназначена для преобразования речи на марокканской даридже в текст. Она использует архитектуру Wav2Vec2ForCTC, содержит около 402,7 млн параметров и принимает аудио. Репозиторий опубликован в формате PyTorch. Точность может зависеть от вариаций произношения и принятого способа записи дариджи: разработчик отмечает, что продолжает дообучение и стандартизацию текстовых транскрипций. Лицензия — Apache-2.0.
PereLluis13/wav2vec2-xls-r-1b-ca — модель автоматического распознавания речи на каталанском языке, созданная дообучением facebook/wav2vec2-xls-r-300m на наборах Common Voice 8.0 для каталанского, tv3_parla и parlament_parla. Она использует архитектуру wav2vec2 с выходной головой Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель предназначена для преобразования каталанской речи в текст, в том числе для записей, похожих на данные обучающих корпусов: краудсорсинговую речь, телепередачи и парламентские выступления. Распространяется под лицензией Apache-2.0.
whisper-bsc-large-v3-cat — акустическая модель автоматического распознавания речи на каталанском языке, созданная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC). Модель дообучена на базе openai/whisper-large-v3 на 4700 часах каталанской речи из наборов Projecte AINA и других источников. Модель предназначена для транскрибирования каталанских аудиозаписей в обычный текст без пунктуации. Её можно применять для расшифровки передач, парламентских выступлений, заседаний региональных органов и записей с различными каталанскими акцентами. Архитектура — Whisper large-v3 с 905,2 млн параметров; для работы используется библиотека Transformers. Модель принимает аудио и выдаёт текст. В карточке указаны лицензия Apache-2.0 и формат весов safetensors. В обучающих данных использовались версии некоторых парламентских наборов, не опубликованные в открытом доступе; качество на других акцентах и акустических условиях может отличаться от результатов на целевых данных.
jlondonobo/whisper-large-v2-pt-v3 — дообученная на португалоязычной части набора Common Voice 11.0 модель автоматического распознавания речи на базе Whisper Large v2 от OpenAI. Она принимает аудио и генерирует текстовую расшифровку, в частности подходит для транскрибирования португальской речи. Модель построена на архитектуре Whisper, содержит 905,2 млн параметров и распространяется в формате PyTorch. В карточке указаны результаты оценки на тестовой выборке: loss 0,1503 и WER 4,8385. Модель выпущена под лицензией Apache-2.0. Карточка не описывает ограничения и условия оценки подробнее, поэтому результаты могут не отражать качество на других аудио и сценариях.
AmirMohseni/whisper-large-v3-persian-ct2-int8 — версия Whisper large-v3, подготовленная Amir Mohseni для распознавания персидской речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка Hugging Face указывает задачу automatic-speech-recognition, язык Persian и базовые модели openai/whisper-large-v3 и AmirMohseni/whisper-large-v3-persian-bf16. Это вариант с INT8-квантованием, предназначенный для более экономичного по памяти вывода. Репозиторий относится к семейству Whisper encoder-decoder моделей OpenAI; для задачи распознавания особенно подходит персидский язык. Карточка не приводит размер модели или контекст, а также не описывает точность именно этой квантованной версии. Модель распространяется по лицензии Apache-2.0. Известное практическое ограничение: квантование может влиять на качество распознавания, но величина такого влияния для этой версии не указана.
apexAI Whisper Large-v3 Swiss German — модель распознавания речи, разработанная apexAI Research и дообученная на базе OpenAI Whisper Large-v3. Она преобразует речь на швейцарском немецком, преимущественно бернском диалекте, в текст на стандартном немецком, совмещая распознавание речи и перевод диалекта в письменную норму. Модель содержит 1,55 млрд параметров и сохраняет архитектуру Whisper Large-v3; она принимает аудио и выдаёт текст. В карточке указано обучение на 180 000 фрагментах из Swiss Parliament Corpus R и немецкой части VoxPopuli. Модель предназначена прежде всего для транскрибации формальной швейцарской речи: заседаний, интервью, диктовок, пресс-конференций и публичных выступлений. На тестовой выборке SPC-R из 15 096 фрагментов заявлены WER 13,31%, CER 6,66% и BLEU 81,28. Эти результаты относятся к материалам, похожим на тестовый корпус: независимой проверки на других корпусах и реальных сценариях эксплуатации не проводилось. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое лицензирование предлагается отдельно разработчиком.
Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.
juancopi81/whisper-medium-es — модель автоматического распознавания речи, созданная Juan Carlos Piñeros дообучением OpenAI Whisper Medium на наборе Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую расшифровку; карточка указывает испанский язык. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для транскрибирования испанской речи. В README приведены результаты оценки: WER 5,4218 на оценочном наборе и WER 5,88 на Google FLEURS. Модель распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные ограничения или условия, кроме лицензии.
IonGrozea/whisper-small_ro-80mel — модель распознавания румынской речи, созданная дообучением openai/whisper-small на объединённом корпусе румынских аудиозаписей объёмом около 445 часов. Модель Whisper содержит 153,1 млн параметров и принимает аудио в виде мел-спектрограмм с 80 полосами; на выходе формирует текстовую транскрипцию. В метаданных указана поддержка румынского языка и лицензия Apache 2.0. Модель предназначена для транскрибирования румынской речи. В README сообщается о WER 0,0925 и CER 0,0293 на валидационной выборке из 25 348 примеров, оценённой с beam=5. Эти результаты относятся к описанному протоколу оценки; качество на других наборах данных и акустических условиях может отличаться.
Sagicc/whisper-small-sr-yodas-v2 — модель распознавания речи на основе Whisper Small от OpenAI, дообученная на объединённых наборах Common Voice 16, Fleurs, JuzneVesti-SR, LBM и YODAS. Она предназначена для преобразования аудиозаписей в текст; карточка приводит результаты оценки: WER 0,1220 и WER Ortho 0,2328. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors. В названии и обучающих данных указаны сербский язык и южносербские новости; также в обучении использованы многоязычные наборы Common Voice, Fleurs и YODAS. Базовый Whisper Small поддерживает распознавание речи на нескольких языках. Модель опубликована под лицензией Apache 2.0. Карточка не уточняет ограничения применения и условия оценки метрик.
nikes64/whisper-small-uk — модель распознавания речи, полученная дообучением Whisper Small от OpenAI на наборе Mozilla Common Voice 16.1. Она преобразует украинскую речь в текст и рассчитана на транскрибирование аудио. Архитектура — WhisperForConditionalGeneration с 153,1 млн параметров; веса опубликованы в формате Safetensors. В карточке приведён результат оценки на тестовой выборке: WER 26,357 и loss 0,2744. Модель предназначена для транскрибирования записей и голосовых сообщений на украинском языке. Она распространяется по лицензии Apache-2.0. Карточка не уточняет параметры аудио и дополнительные ограничения; указанная ошибка распознавания означает, что в транскриптах возможны неточности.
Модель ixxan/whisper-small-uyghur-thugy20 — дообученная версия Whisper Small, созданная на основе openai/whisper-small для распознавания уйгурской речи. Она принимает аудио и генерирует текстовую транскрипцию; обучение проводилось на наборе данных THUGY20, базе записей уйгурской речи. В карточке приведены результаты на тестовой выборке THUGY20: WER 17,94, нормализованный WER 18,09 и CER 4,93. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Распространяется по лицензии Apache-2.0.
keremberke/yolov8m-painting-classification — модель классификации изображений на базе YOLOv8m, опубликованная пользователем keremberke и предназначенная для определения художественного стиля живописи. Она присваивает изображению одну из 27 меток, включая импрессионизм, кубизм, барокко, поп-арт и сюрреалистичные направления; модель относится к семейству Ultralytics YOLOv8 и распространяется в формате PyTorch. Модель подходит для автоматической категоризации изображений картин, поиска произведений по стилю и создания тематических коллекций. Карточка указывает набор меток и использование библиотеки ultralyticsplus. Сведения о лицензии и числовом размере модели в предоставленных данных отсутствуют.
Absolute Reality v1.6 — модель генерации изображений по текстовому описанию, опубликованная Yntec на Hugging Face. Она представлена в формате Diffusers и предназначена для создания разнообразных иллюстраций и стилизованных сцен по промптам, включая фотореалистичные изображения, пейзажи, персонажей и аниме или chibi-арт. Карточка показывает примеры промптов для портретов, сюжетных сцен и цифровых иллюстраций. Модель принимает текст и выдаёт изображения; сведения об архитектуре, размере и длине контекста в предоставленных данных отсутствуют. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов.
AraT5v2-arabic-summarization — модель, дообученная Fatma El-Zahraa Serry и соавторами на базе UBC-NLP/AraT5v2-base-1024 для абстрактивного суммирования текстов на современном литературном арабском языке (MSA). Это модель семейства T5 с архитектурой encoder-decoder и 183,7 млн параметров; она принимает текст и генерирует краткое изложение. Обучение проводилось на SummARai v1.0 — наборе из 4 328 пар арабских абзацев и написанных к ним резюме, составленных по материалам книг и статей. Модель предназначена для подготовки кратких изложений длинных арабских текстов, в том числе книг, а также для образовательных, журналистских и цифровых библиотечных систем. В карточке приводится оценка BERTScore F1 71,73% на отложенной выборке; сравнение с другой моделью дано на том же наборе данных. Это не гарантирует аналогичного качества на других жанрах и данных. Лицензия — Apache-2.0.