IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейaufklarer/VibeVoice-1.5B-MLX-INT4 — пакет модели синтеза речи VibeVoice-1.5B в формате MLX для устройств Apple Silicon. Это INT4-квантизированная производная модели Microsoft VibeVoice-1.5B, рассчитанная на генерацию длинной речи: озвучивание аудиокниг, подкастов и диалогов с несколькими участниками. Модель поддерживает до четырёх голосов с сохранением их идентичности и может генерировать аудио длительностью до 90 минут за один проход. Пакет содержит backbone Qwen2, акустический токенизатор и диффузионную голову; общий размер — 2,18 ГБ. Для использования предусмотрена интеграция со Swift-модулем VibeVoiceTTS. Указанная производительность на Apple M2 Max — 1,35× реального времени для тестового фрагмента. Поддерживаемые языки — английский и китайский; другие языки могут давать неразборчивую речь. Лицензия — MIT.
Image-Captioning-ML/Vit-GPT2-COCO2017Flickr-85k-09 — дообученная модель архитектуры VisionEncoderDecoderModel для создания текстовых описаний изображений. В качестве базовой модели указана NourFakih/Vit-GPT2-COCO2017Flickr-85k-09; веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель принимает изображение и генерирует текстовую подпись. В README приведены результаты оценки: Loss 0,6343, ROUGE-1 38,8156, ROUGE-2 13,6737 и ROUGE-L 34,9479; длина генерации в оценке — около 12 токенов. Данные обучения и сведения о языках в карточке не раскрыты, поэтому назначение для конкретного языка или предметной области не подтверждено.
Wan2.2-Fun-5B-InP — дообученная модель Alibaba PAI на базе Wan-AI/Wan2.2-TI2V-5B для генерации видео из изображения и текстового описания. Она предназначена для сценариев image-to-video, где исходное изображение задаёт визуальную основу ролика, а текст — его содержание или развитие. Модель относится к семейству Wan2.2, имеет плотную архитектуру I2V и распространяется в формате safetensors; для работы используется библиотека VideoX-Fun. Модель поддерживает английский и китайский языки. README описывает инструменты VideoX-Fun для генерации видео, включая режимы с исходным изображением, однако конкретные параметры разрешения и длины контекста для этой модели в предоставленных данных не приведены. Для запуска нужны значительные вычислительные ресурсы; README указывает на варианты переноса частей модели в CPU и режим float8, который может снизить качество. Лицензия репозитория — Apache 2.0.
Warden Ship art-domain CLIP — модель, созданная разработчиками Warden Ship на основе openai/clip-vit-base-patch32 и дообученная контрастивно на парах «картина — подпись» из метаданных WikiArt. Она предназначена для поиска изображений по текстовым запросам и классификации картин по стилю и жанру без обучения отдельного классификатора. Модель принимает изображения и текст, сопоставляет их в общем векторном пространстве и выдаёт векторные представления, пригодные для поиска по смыслу. По данным README, точность на отложенном тесте WikiArt составляет 55,3% для 27 классов стилей и 79,8% для 10 жанров; размер проекции — 512 измерений. Модель подходит для семантического поиска по коллекциям картин, извлечения похожих произведений и zero-shot-классификации в художественном домене. Она загружается как стандартная модель CLIP через Transformers и распространяется по лицензии MIT. Векторы этой версии нельзя смешивать по смыслу с векторами базовой CLIP, несмотря на совпадение их размерности. Обучение преимущественно на европейской живописи XIX–XX веков ограничивает качество на других периодах и традициях.
Модель Selest/wav2vec2-bert-assyrian-urmi-asr — дообученная Selest версия Wav2Vec2BertForCTC на аудиоданных у́рмийского диалекта ассирийского новоарамейского языка в сирийской традиции письма. Она преобразует речь в текст и принимает аудиопризнаки log-mel, подготовленные SeamlessM4TFeatureExtractor; частота дискретизации — 16 кГц. В основу положена facebook/w2v-bert-2.0, обучение включало аугментацию скорости речи. Модель содержит около 402,7 млн параметров и распространяется в формате Safetensors для Transformers. Модель предназначена для автоматического распознавания ассирийской новоарамейской речи, в частности записей урмийского варианта. Качество зависит от условий записи и охвата словаря, поэтому перед применением в конкретной предметной области нужна оценка на соответствующих аудиозаписях. Лицензия — Apache-2.0.
Модель infinitejoy/wav2vec2-large-xls-r-300m-bashkir — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания башкирской речи. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; при оценке на наборе Mozilla Common Voice 7.0 для башкирского языка указана WER 0,2421. Распространяется по лицензии Apache-2.0.
Werea-TR-Summarizer — турецкая модель для автоматического составления кратких выжимок из новостных текстов. Репозиторий GoktugD является зеркалом Werea-co/Werea-TR-Summarizer; модель разработана на базе google/mt5-small и дообучена на 50 тысячах пар «новость — резюме» из набора TR-News. Это encoder-decoder модель mT5 с 157,4 млн параметров, сохранённая в формате safetensors. Для генерации используется префикс «özet: ».
Sagicc/whisper-large-v3-sr-cmb — дообученная модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; при дообучении использовались Common Voice 13, Google Fleurs и набор данных JuzneVesti-SR v1.0. В карточке приведены результаты оценки: WER 0,0415, WER Ortho 0,1339 и loss 0,1111. Модель ориентирована на сербскую речь, однако подробные сведения о вариантах языка и условиях оценки не описаны. Распространяется по лицензии Apache-2.0.
Sagicc/whisper-large-v3-sr-combined — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сербском языке; при дообучении использовались наборы Mozilla Common Voice 13 и Google Fleurs. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. В README приведены результаты оценки: WER 0,0556 и орфографический WER 0,1635. Карточка рекомендует обновлённую версию Sagicc/whisper-large-v3-sr-cmb, обученную на более чем 50 часах дополнительных данных. Модель распространяется по лицензии Apache-2.0. Результаты распознавания могут зависеть от качества записи, акцента и соответствия аудио обучающим данным.
jstoone/whisper-medium-da — дообученная модель распознавания датской речи, созданная на основе openai/whisper-medium. Это модель архитектуры Whisper с 455,8 млн параметров; она принимает аудио и преобразует речь в текст. Дообучение проводилось на датских данных Common Voice 11.0 и FLEURS. На указанном наборе оценки модель показала WER 13,7086 и loss 0,5814. Модель предназначена для автоматической расшифровки датской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к различным акцентам и шуму или ограничения качества за пределами приведённой оценки.
TheirStory/whisper-medium-zulu — модель автоматического распознавания речи, созданная дообучением Whisper Medium компании OpenAI на наборе данных wjbmattingly/zulu_merged_audio. Она предназначена для преобразования звучащей речи на зулу в текст. Модель основана на архитектуре Whisper и содержит 455,8 млн параметров; использует входное аудио и выдаёт текст. На указанном в карточке наборе оценки модель показала значение WER 0,1993 и loss 0,2949. Эти результаты относятся к конкретному набору оценки и не гарантируют такое же качество на других данных. Модель распространяется под лицензией Apache-2.0.
Cafet/whisper-meduim-mongolian — дообученная Cafet версия мультиязычной модели OpenAI Whisper Medium для распознавания речи на монгольском языке. Модель принимает аудио и преобразует речь в текст; она основана на архитектуре Whisper и содержит 455,8 млн параметров. На оценочном наборе указаны loss 0,3098 и WER 26,8664. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0.
Это дообученная на датасете Common Voice v15 версия мультиязычной модели Whisper Small от OpenAI, опубликованная пользователем razhan. Модель предназначена для автоматического распознавания речи и транскрибирования аудио на курдском языке сорани. Архитектура — WhisperForConditionalGeneration; размер — 153,1 млн параметров. В репозитории указаны результаты оценки: Loss 0,0334 и WER 0,0613. Модель принимает аудио и выдаёт текст. Данных о длине контекста и конкретных условиях оценки WER в карточке нет. Базовая модель — openai/whisper-small; лицензия — Apache-2.0.
LyngualLabs/whisper-small-yoruba — дообученная LyngualLabs модель OpenAI Whisper Small на архитектуре Seq2Seq/Transformer с 153,1 млн параметров. Она предназначена для автоматической транскрибации речи на йоруба и английском, включая частое переключение между этими языками в одной беседе. Модель принимает аудио и выдаёт текст; в README сообщается о настройке на акценты, тональность и языковое смешение в разговорах на йоруба и английском. На отложенной тестовой выборке авторы сообщили WER 20,76%. Модель может путать орфографию заимствованных слов при переключении языков; качество снижается на шумных записях и диалектных вариантах йоруба. Лицензия репозитория — Apache-2.0.
Модель abilमानsplus/whisper-turbo-ksc2 — версия Whisper large-v3-turbo от OpenAI, дообученная разработчиком репозитория на казахском корпусе речи Kazakh Speech Corpus 2 объёмом около 1000 часов размеченного аудио из разных источников. Она предназначена для автоматического распознавания речи и преобразования казахской речи в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. На тестовой части корпуса автор сообщает WER 9,16%. Для аудио длиннее 35 секунд README рекомендует разбивать запись на фрагменты по 30 секунд и объединять результаты транскрибации. Модель доступна по лицензии MIT. Указанный результат получен на конкретном тестовом разделе корпуса и не гарантирует такую же точность на других источниках, акцентах или условиях записи.
Модель XLS-R-300M Uyghur CV8 разработана Lucio и дообучена на базе facebook/wav2vec2-xls-r-300m для распознавания уйгурской речи. Это модель Wav2Vec2ForCTC размером около 402,7 млн параметров, обученная на данных Common Voice 8.0 для уйгурского языка; её словарь использует буквы уйгурского алфавита на персо-арабской графической основе. Модель преобразует аудиозапись речи в текст и подходит для черновых субтитров к видео и индексирования записанных передач. На тестовой выборке указана WER 0,3248. Apache-2.0 — лицензия модели. Распознавание недостаточно надёжно для живых субтитров, используемых в целях доступности. При работе с записями следует учитывать приватность говорящих, представленных в Common Voice и других аудиоматериалах.
Карточка модели Jinstudio/Z-Image-Turbo на Hugging Face совпадает с карточкой Tongyi-MAI/Z-Image-Turbo, поэтому описание составлено по ней. Z-Image-Turbo — быстрая модель генерации изображений по тексту от проекта Z-Image компании Alibaba. Это дистиллированный вариант семейства Z-Image на 6 млрд параметров, построенный на архитектуре Scalable Single-Stream Diffusion Transformer (S3-DiT). Модель использует 8 шагов вычисления и предназначена для генерации изображений с низкой задержкой; в карточке заявлена работа менее чем за секунду на H800 и возможность запуска на потребительских устройствах с 16 ГБ видеопамяти. Модель рассчитана на фотореалистичные изображения, точное следование инструкциям и рендеринг английского и китайского текста внутри изображения. В README также описан Prompt Enhancer для расширения промптов, однако это не отдельная задача pipeline_tag. Указанные характеристики производительности и качества приведены разработчиком; фактический результат зависит от оборудования и настроек генерации. Лицензия репозитория — Apache-2.0.
Z-Image-Turbo — быстрая модель генерации изображений по тексту от проекта Z-Image компании Alibaba. Это дистиллированный вариант семейства Z-Image на 6 млрд параметров, построенный на архитектуре Scalable Single-Stream Diffusion Transformer (S3-DiT). Модель использует 8 шагов вычисления и предназначена для генерации изображений с низкой задержкой; в карточке заявлена работа менее чем за секунду на H800 и возможность запуска на потребительских устройствах с 16 ГБ видеопамяти. Модель рассчитана на фотореалистичные изображения, точное следование инструкциям и рендеринг английского и китайского текста внутри изображения. В README также описан Prompt Enhancer для расширения промптов, однако это не отдельная задача pipeline_tag. Указанные характеристики производительности и качества приведены разработчиком; фактический результат зависит от оборудования и настроек генерации. Лицензия репозитория — Apache-2.0.
Z-Image-Turbo — модель генерации изображений из текста, опубликованная Unsloth как зеркало Tongyi-MAI/Z-Image-Turbo; веса не изменены. Это дистиллированный вариант семейства Z-Image с архитектурой Scalable Single-Stream DiT (S3-DiT) и 6 млрд параметров. Модель генерирует изображения по текстовым запросам, рассчитана на быстрое выполнение — за 8 вычислительных шагов — и поддерживает генерацию фотореалистичных изображений и точное отображение текста на английском и китайском языках. Модель подходит для создания иллюстраций и фотореалистичных изображений, а также изображений с надписями на английском или китайском. В README заявлены высокая скорость вывода и возможность работы на потребительских устройствах с 16 ГБ видеопамяти; эти характеристики зависят от оборудования и конфигурации. Лицензия — Apache-2.0.
BlackStone-Yu/Z-Image-Turbo-GGUF — квантованная версия модели Z-Image-Turbo, разработанной командой Tongyi-MAI. Это генеративная модель преобразования текста в изображение, предназначенная для создания изображений по текстовым описаниям, включая фотореалистичные сцены, а также изображения с текстом на английском и китайском языках. Модель основана на архитектуре Single-Stream Diffusion Transformer и содержит 6 миллиардов параметров. Z-Image-Turbo — дистиллированный вариант Z-Image, рассчитанный на генерацию всего за 8 NFE (Number of Function Evaluations). Заявлены субсекундная задержка на GPU H800 и возможность работы на потребительских устройствах с 16 ГБ видеопамяти. Модель поддерживает английский и китайский языки и отличается высокой эффективностью, качественной фотореалистичной генерацией и хорошим следованием инструкциям. К ограничениям относятся отсутствие в README подробностей о точных требованиях к аппаратному обеспечению для GGUF-версии, поддерживаемых разрешениях, качестве на других языках и особенностях запуска. Лицензия модели — Apache-2.0.
Карточка модели amandabenson/acestep-captioner-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-captioner, поэтому описание составлено по ней. ACE-Step Captioner — модель для подробного описания музыкального аудио, используемая ACE-Step v1.5 для аннотирования обучающих данных. Она построена на архитектуре Qwen2.5 Omni и принимает аудио, формируя текстовые описания музыки. Модель анализирует жанры и стилистические влияния, распознаёт инструменты, описывает структуру произведения и её развитие, тембр, текстуру, пространственные характеристики и динамику. Её можно применять для разметки музыки при подготовке данных для генеративных моделей, создания поисковых метаданных аудиокаталогов, музыкального анализа и документирования звукового дизайна. В карточке заявлено качество выше Gemini Pro 2.5 в задачах описания музыки; независимая проверка этого сравнения не представлена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Размер модели и ограничение контекста в предоставленных данных не приведены.
ACE-Step 1.5 XL Turbo — вариант модели ACE-Step 1.5 от проекта ACE-Step для генерации музыки и аудио. Это дистиллированная модель с архитектурой DiT Decoder и 3,1 млрд параметров по метаданным; README обозначает вариант как XL 4B. В карточке также указаны библиотека Transformers, формат safetensors и контекст 32 768 токенов. Модель предназначена для генерации аудио по текстовому описанию. Turbo-вариант рассчитан на быстрый вывод за 8 шагов и ориентирован на высокое качество звука; README отмечает, что XL совместима с LM-моделями ACE-Step размером 0,6B, 1,7B и 4B. Для запуска требуется GPU с 12–20 ГБ VRAM в зависимости от квантования и выгрузки на CPU. README сообщает, что обучение использовало лицензированную, royalty-free, общественно доступную и синтетическую музыку, а сгенерированную музыку можно использовать в коммерческих целях. Лицензия репозитория — MIT. Модель генерирует аудио, но сведения о поддерживаемых естественных языках и конкретных аудиоформатах в предоставленных данных отсутствуют.
AI-infinity-V1-fp16 — модель генерации изображений по текстовому описанию в формате Diffusers. Карточка содержит демонстрационные изображения, но не сообщает сведения об авторе, архитектуре, размере или поддерживаемых языках. Модель предназначена для создания изображений по текстовым запросам. Репозиторий содержит веса в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.
AIorNot-SigLIP2 — модель классификации изображений, разработанная автором репозитория и дообученная на базе google/siglip2-base-patch16-224 с архитектурой SiglipForImageClassification. Она относит изображение к одному из двух классов: создано ИИ или является реальной фотографией. Модель предназначена для проверки изображений в социальных сетях и СМИ, цифровой криминалистики, фильтрации наборов данных и сравнительных исследований детекторов синтетических изображений. В отчёте на тестовой выборке из 18 618 изображений указана точность 91,49%; полнота составляет 93,96% для класса AI и 88,42% для класса Real. Эти показатели относятся к описанной в карточке оценке и не гарантируют аналогичного качества на других данных. Модель принимает изображения и выдаёт метку класса. Опубликована в формате safetensors, используется через Transformers и распространяется по лицензии Apache-2.0.
albedobase2-xl — модель генерации изображений по текстовому описанию, опубликованная GraydientPlatformAPI на Hugging Face. Карточка модели включена в категорию text-to-image, а метаданные указывают на использование Diffusers и StableDiffusionXLPipeline. Модель предназначена для создания изображений по текстовым запросам. Репозиторий использует формат safetensors и распространяется по лицензии OpenRAIL. Данных о конкретном размере, поддерживаемых языках, длине контекста и специальных сильных сторонах в использованных источниках нет.
AlbedoBase XL — модель генерации изображений по текстовому описанию, опубликованная Stable Diffusion API и предназначенная для использования через сервис ModelsLab. Карточка демонстрирует создание фотореалистичных портретов и сцен с настройками размера изображения, числа шагов генерации, seed и guidance scale. Модель доступна в формате Diffusers и использует StableDiffusionXLPipeline; веса представлены в PyTorch и Safetensors. Пример API указывает на генерацию изображений размером 512 × 512 и поддерживает negative prompt, усиление запроса и дополнительные параметры генерации. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M.
AltDiffusion-m9 — модель генерации изображений по тексту, разработанная командой FlagAI на основе Stable Diffusion с мультиязычным текстовым кодировщиком AltCLIP-m9. Она предназначена для создания изображений по запросам на девяти языках: английском, китайском, испанском, французском, русском, японском, корейском, арабском и итальянском. В состав модели входят U-Net на 865 млн параметров, текстовый кодировщик AltCLIP-m9 на 859 млн параметров и автоэнкодер на 83,7 млн параметров; модель распространяется в форматах Diffusers и PyTorch. Модель обучалась на данных WuDao и LAION и рассчитана на многоязычную привязку текстового запроса к изображению, сохраняя основные возможности исходной Stable Diffusion. Лицензия — CreativeML OpenRAIL-M. Результаты могут различаться в зависимости от языка запроса; README также отмечает, что одинаковые запросы на разных языках могут приводить к разным изображениям.
abdalrahmanshahrour/arabartsummarization — модель для суммаризации текста на арабском языке, опубликованная разработчиком abdalrahmanshahrour. Это плотная encoder-decoder модель семейства mBART с примерно 95 млн параметров, обученная для генерации краткого содержания по входному тексту. В карточке указаны суммаризация арабских новостей, создание заголовков и перефразирование; основная задача модели — суммаризация. Модель обучалась на наборе XL-Sum: в карточке указано 42,21 тыс. примеров, из них 37,52 тыс. для обучения и 4,69 тыс. для оценки. Максимальная длина контекста — 1024 токена. Модель принимает текст и генерирует текст; доступные веса представлены в формате PyTorch. Лицензия — Apache-2.0. Карточка приводит метрики Loss и ROUGE, но не описывает предполагаемые ограничения и сообщает, что для сведений об использовании нужно больше информации. Поэтому качество для конкретных жанров и текстов стоит оценивать на собственных данных; контекст ограничен 1024 токенами.
UBC-NLP/AraT5-base-title-generation — арабская модель семейства T5 на базе архитектуры encoder-decoder, предназначенная для генерации заголовков новостей по их тексту. Карточка показывает её использование для дообучения AraT5-base на наборе Aranews; модель относится к линейке AraT5, разработанной для понимания и генерации текста на арабском языке. Размер модели — 183,6 млн параметров; доступны веса PyTorch и TensorFlow. Модель подходит для автоматического создания кратких заголовков к новостным документам и других сценариев генерации заголовков на арабском языке. Карточка указывает на исследовательское использование; для коммерческого применения предлагается связаться с авторами. Ограничения качества и длина контекста в предоставленных данных не описаны.
AsymFLUX.2-klein-9B — модель генерации изображений по тексту, разработанная LakonLab и дообученная на black-forest-labs/FLUX.2-klein-base-9B методом AsymFlow, предложенным в исследовательской работе Stanford University. Модель работает в пиксельном пространстве и предназначена для создания изображений по текстовым запросам. Репозиторий содержит веса в формате safetensors и рассчитан на использование с библиотекой Diffusers. README предлагает установить LakonLab версии 0.2. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.