IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейКарточка модели allenai/SAGE-MM-Qwen3-VL-4B-SFT на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.
Карточка модели allenai/SAGE-MM-Qwen3-VL-8B-SFT на Hugging Face совпадает с карточкой allenai/SAGE-MM-Qwen2.5-VL-7B-SFT_RL, поэтому описание составлено по ней. SAGE-MM-Qwen2.5-VL-7B-SFT_RL — модель Allen Institute for AI на базе Qwen2.5-VL-7B, дообученная для мультимодального рассуждения о видео в системе SAGE. Она анализирует кадры и метаданные видео, решает, можно ли ответить сразу или нужно обратиться к инструментам, а затем объединяет полученные наблюдения в итоговый ответ. Модель может формировать JSON-действия для поиска в интернете, распознавания речи по фрагментам видео, определения временных границ событий, извлечения кадров или клипов и детального анализа медиа. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает контекст до 128 000 токенов. Для выполнения инструментальных действий ей требуется внешняя среда, которая разбирает JSON, запускает инструменты и возвращает их результаты. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка указывает английский язык; данных о других поддерживаемых языках нет.
SeedVR2-7B — модель ByteDance Seed для восстановления и улучшения видео на основе диффузионной модели. Она предназначена для обработки видео в один шаг: модель восстанавливает визуальное качество и детали, сохраняя временную согласованность кадров. В архитектуре используется адаптивное оконное внимание, подстраиваемое под разрешение выходного видео; формат весов в репозитории — PyTorch. Модель подходит для восстановления видео с деградациями и улучшения качества высокоразрешённых роликов при меньших затратах на инференс, чем у многошаговых диффузионных методов. Распространяется по лицензии Apache-2.0. Это прототип: на сильных повреждениях и при большом движении результат может быть нестабильным, а для видео с лёгкими деградациями модель иногда чрезмерно усиливает детали и повышает резкость.
SenseNova-U1.5-8B-MoT-SFT — мультимодальная модель SenseNova для генерации и редактирования изображений по текстовым инструкциям и визуальным примерам. Это вариант с supervised fine-tuning из семейства SenseNova-U1.5, построенный на NEO-unify; карточка указывает архитектуру NEOChat и размер 8B в названии. Модель принимает текст и изображения, а выдаёт изображения; официальная карточка также обозначает её как any-to-any. Для запуска предусмотрена реализация на Transformers, а веса опубликованы в формате safetensors. Модель подходит для создания иллюстраций, постеров, инфографики и брендовых материалов, а также для локального редактирования изображений, вставки и замены объектов. Она следует сложным инструкциям с ограничениями по композиции, числу объектов и пространственным отношениям, поддерживает контроль областей через рамки и визуальные маркеры, а также нативную генерацию до 4K. Заявлены английский и китайский языки; модель особенно ориентирована на визуальные задачи с текстом на этих языках. Известные ограничения: надписи, особенно мелкие, длинные и смешанные китайско-английские, могут содержать ошибки; сложная верстка, точные количества объектов, детали людей и редактирование с множеством областей могут быть нестабильны. Лицензия — Apache-2.0.
Sakil/sentence_similarity_semantic_search — дообученная модель на базе DistilBERT, созданная автором репозитория с использованием библиотеки sentence-transformers. Она предназначена для семантического поиска и оценки сходства предложений; также может применяться для подбора рекомендаций. При дообучении использовались заголовки и тексты новостей, а целевая оценка отражала их косинусное сходство. Модель принимает текст и формирует эмбеддинги для сравнения текстовых фрагментов; заявленная длина контекста — 512 токенов. Поддерживаемый язык по карточке — английский. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README предлагает дообучать модель для конкретных сценариев.
Speaker Names Attribution, Ettin 150M — англоязычная модель для извлечения из расшифровки напечатанного имени человека, соответствующего диаризованной метке говорящего, например Speaker A. Она разработана на основе энкодера jhu-clsp/ettin-encoder-150m: ModernBERT с 149 млн параметров дообучен с SQuAD-подобной головой, предсказывающей начало и конец фрагмента; позиция 0 обозначает отсутствие ответа. Модель принимает текст и возвращает имя либо воздерживается, если расшифровка не позволяет его установить. Контекст модели — до 7 999 токенов. Модель предназначена для связывания меток диаризации с именами, явно упомянутыми в стенограммах, например при обработке новостных и общественно-политических передач. На вручную проверенной выборке из 264 строк показатель F1 по человеку составил 0,857, а точный F1 текста — 0,812; на автоматически проверенной тестовой выборке из 638 строк — соответственно 0,882 и 0,830. Модель не определяет личность по голосу, внешним знаниям или неупомянутому контексту. Для работы нужны PyTorch и Transformers; пользовательская голова хранится отдельно, поэтому чекпойнт не является стандартной моделью AutoModelForQuestionAnswering. Лицензия — MIT.
summary-news-dataset-2 — дообученная модель Pegasus, созданная на основе ifyou819/summary-news-dataset-1. В карточке указано дообучение на датасете, название которого не приведено; размер модели — 366,8 млн параметров, длина контекста — 1024 токена. Метаданные не содержат отдельного тега задачи, но архитектура Pegasus и название модели указывают на суммаризацию новостных текстов. Модель предназначена для сокращения новостных материалов до краткого пересказа. В README приведено значение Loss 7,9757 на оценочном наборе, однако описание набора и методики оценки отсутствует, поэтому это число само по себе не позволяет судить о практическом качестве. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.
ifyou819/summary-news-dataset-3 — дообученная модель PegasusForConditionalGeneration с 366,8 млн параметров, основанная на ifyou819/summary-news-dataset-2. По названию репозитория и семейству модели она предназначена для суммаризации новостных текстов. Модель принимает текст и генерирует текстовое резюме; максимальная длина контекста составляет 1024 токена. В карточке указана оценка Loss 7.0676 на наборе для оценки, однако подробности о данных, методике оценки и качестве результата не приведены. Модель опубликована в формате safetensors. Лицензия в предоставленных данных не указана.
Synas Detect 1 — модель классификации изображений от Atugil Intelligence, дообученная на базе OpenAI CLIP ViT-Large Patch-14. Она предназначена для оценки того, является ли изображение подлинной фотографией или синтетическим изображением, созданным генеративными системами, включая Midjourney, Stable Diffusion, DALL·E и Imagen. Модель содержит около 304 млн параметров и распространяется в формате Safetensors; лицензия — MIT. Модель подходит для проверки изображений в журналистике и издательском деле, модерации пользовательских загрузок, а также вспомогательного визуального анализа в исследованиях и расследованиях. В README заявлены точность около 96% на данных, близких к обучающим, и 92–95% на данных вне обучающего распределения; эти показатели зависят от качества изображения и использованной генеративной модели. Сжатие JPEG, обрезка, изменение размера и постобработка могут снижать уверенность классификации. Модель не обучалась специально против состязательных изменений, поэтому её оценки не следует считать окончательным доказательством подлинности изображения.
t5-base-dutch-demo — модель Yeb Havinga и Dat Nguyen, созданная во время Hugging Face Community Week. Это дообученная версия t5-base-dutch на архитектуре T5 с 123,7 млн параметров; она предназначена для создания кратких пересказов новостных статей на нидерландском языке. Обучающие данные включали переведённые на нидерландский версии CNN DailyMail и XSUM, а также краткие пересказы новостей с сайта nu.nl; всего использовано 1 366 592 примера. Модель принимает текст статьи и генерирует текст резюме. Длина контекста — 512 токенов. Для оценки суммаризации авторы использовали метрики ROUGE: ROUGE-1 — 23,8, ROUGE-2 — 6,9 и ROUGE-L — 19,7. Авторы отмечают, что результаты могут улучшиться при отдельной настройке оценки на переведённых версиях CNN DailyMail и XSUM. Лицензия в предоставленных данных не указана.
mrm8488/t5-base-finetuned-summarize-news — модель T5-base, дообученная для суммаризации новостных статей. В карточке указано, что автор дообучил базовую модель Google на датасете News Summary из 4515 примеров; датасет содержит статьи и краткие сводки новостей. Архитектура — T5 для преобразования текста в текст, размер — 123,8 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для создания краткой сводки по тексту новостной статьи. В примере она сокращает длинную статью до нескольких предложений. В метаданных указан английский язык; датасет собран из материалов Inshorts, The Hindu, Times of India и The Guardian за период с февраля по август 2017 года. Это дообученная модель на основе Google T5-base, представленная в форматах PyTorch, Flax и Safetensors. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Пример результата содержит неточности и обрывается, поэтому качество сводок следует проверять перед использованием.
Модель minhtoan/t5-finetune-cnndaily-news — компактная модель суммаризации новостных статей на основе архитектуры T5, опубликованная Phan Minh Toan. Она дообучена на наборе CNN-DailyMail и предназначена для генерации краткого пересказа статьи по входному тексту с префиксом задачи. Модель содержит 38,5 млн параметров, использует архитектуру encoder-decoder и формат PyTorch. По карточке, длина входа составляет до 512 токенов, а длина генерируемого текста — до 150 токенов. Основной язык — английский; лицензия MIT.
ubikpt/t5-small-finetuned-cnn-v2 — модель T5-small, дообученная на наборе данных CNN/DailyMail. Она предназначена для суммаризации текстов и может создавать краткие пересказы новостных статей. Модель содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и файлы PyTorch; максимальная длина контекста — 512 токенов. В README приведены результаты оценки: ROUGE-1 35,154, ROUGE-2 18,683, ROUGE-L 30,8481 и ROUGE-Lsum 32,9638. Модель подходит для автоматического сокращения новостных статей и получения краткого содержания длинных текстов. Указанная лицензия — Apache-2.0. README не описывает языки обучения и ограничения качества, поэтому область подтверждённого применения следует считать связанной с CNN/DailyMail.
TEMPO — дообученная аудиоязыковая модель на базе NVIDIA Audio Flamingo 3, разработанная авторами проекта TEMPO. Она предназначена для распознавания речи с временными метками, определения говорящих, привязки текстовых запросов к интервалам аудио, плотного описания звуковых событий и анализа музыки. Модель принимает аудио и формирует текст с временными метками; единственный тег задачи в запросе задаёт требуемое поведение. В основе — аудиокодировщик Whisper-large и Qwen2-7B, объединённые проектором; в этом чекпойнте применены два этапа SFT и временной проектор. Модель рассчитана на английский язык. Словарь меток времени ограничивает интервалы 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты. Распознавание в многоголосых записях и оценка аккордов остаются неточными; метки говорящих согласованы внутри записи, но условны между разными записями. Лицензия указана как other; конкретные условия использования следует сверить с карточкой модели и лицензией проекта.
sinanalyuruk/trmteb-trnews-v1-mlx — турецкая модель эмбеддингов для поиска новостей и сравнения текстов, подготовленная для Apple Silicon. Это MLX-сборка дообученной модели trmteb/turkish-embedding-model на новостном датасете TR-News; веса в формате float16 преобразованы из PyTorch-сборки. Модель основана на BERT и содержит 137,8 млн параметров. Модель преобразует текст в L2-нормализованные векторы размерности 768 с помощью mean pooling. Их можно сравнивать по косинусному сходству или скалярному произведению для поиска похожих новостей и ранжирования результатов. Максимальная длина последовательности — 512 токенов; основным языком является турецкий. Сборка предназначена для запуска через mlx-embeddings на Apple Silicon и требует mlx версии 0.30 или новее и mlx-embeddings версии 0.1.0 или новее. В README указано совпадение результатов с исходной PyTorch-моделью при проверке эмбеддингов и метрик поиска. Лицензия — MIT.
KBLab разработала wav2vec2-large-xlsr-53-swedish — модель распознавания шведской речи на основе архитектуры Wav2Vec2ForCTC с 402,7 млн параметров. Она дообучена на базе facebook/wav2vec2-large-xlsr-53: сначала на корпусе примерно из 1000 часов шведских радиопередач, затем на NST Swedish Dictation и Common Voice. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Модель предназначена для автоматической транскрибации шведской речи. В оценке на тестовой части Common Voice указаны WER 14,30% и CER 4,93%. Для более высокого качества авторы рекомендуют свою более новую модель wav2vec2-large-voxrex-swedish. Модель распространяется по лицензии Apache-2.0.
wav2vec2-xls-r-1b-ca-lm — модель распознавания каталонской речи, созданная PereLluis13 и дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру wav2vec2 с классификационной CTC-головой и принимает аудио, преобразуя его в текст. Для обучения использованы датасеты Mozilla Common Voice 8.0 (каталонская часть), tv3_parla и parlament_parla. Модель предназначена для автоматической транскрипции каталонской речи. В README отмечено, что точность может быть ниже для менее представленных диалектов; также возможны смещения и особенности исходных краудсорсинговых данных. Модель распространяется по лицензии Apache-2.0.
Модель IonGrozea/whisper-base_ro-80mel — версия OpenAI Whisper Base, дообученная на объединённом корпусе румынской речи объёмом около 445 часов. Она предназначена для автоматического распознавания речи и преобразования аудио в текст на румынском языке. Модель использует архитектуру Whisper и 80-канальные мел-спектрограммы; содержит 51,7 млн параметров. Валидация на 25 348 примерах общей длительностью 52,75 часа показала WER 0,1483 и CER 0,048 при декодировании с beam=5. В качестве обучающих данных указаны Echo, VoxPopuli и RODigits. Модель распространяется по лицензии Apache-2.0.
vhdm/whisper-large-fa-v1 — модель распознавания речи на архитектуре Whisper, созданная разработчиком vhdm дообучением openai/whisper-large-v3-turbo на персидских аудиозаписях из набора vhdm/persian-voice-v1.1. Модель содержит 905,2 млн параметров и предназначена для транскрибации персидской речи: голосовых заметок, подкастов, видео и интервью, а также для создания поисковых расшифровок. Она поддерживает входное аудио и выдаёт текст; для чистой персидской речи в карточке указана частота ошибок слов WER 14,07%. Модель распространяется по лицензии MIT. Обучение проводилось на чистой речи из конкретного набора данных, поэтому качество может снижаться на шумных записях, акцентах и диалектах. Модель не оптимизирована для потокового распознавания и иногда может генерировать правдоподобные, но неверные слова.
Whisper-large-v3-ca-3catparla — модель распознавания речи, созданная командой Projecte AINA в подразделении Language Technologies Unit Барселонского суперкомпьютерного центра. Она получена дообучением openai/whisper-large-v3 на 710 часах каталонских данных корпуса 3CatParla, включающего записи телевизионного вещания. Модель принимает аудио на каталонском языке и предназначена для преобразования его в обычный текст без пунктуации. Модель основана на архитектуре Whisper и содержит около 905,2 млн параметров. Она подходит для расшифровки каталонских аудиозаписей, в частности телевизионных передач. Репозиторий распространяет веса PyTorch, лицензия — Apache-2.0. Карточка описывает задачу распознавания речи на каталонском; качество на других языках и сценариях в ней не заявлено.
LoS Whisper-large-v3 — мультиязычная модель автоматического распознавания речи, разработанная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC) на основе дообучения openai/whisper-large-v3. Модель предназначена для транскрибации речи на испанском, каталанском, галисийском и баскском языках. Модель с архитектурой Whisper содержит 905,2 млн параметров и принимает аудио, выдавая текст. Для дообучения использовали 8 110 часов предварительно обработанных данных; объём данных по четырём языкам выравнивали для сопоставимой производительности. В обучающий набор вошли публичные и институциональные аудиоданные, включая датасеты Common Voice и 3CatParla. Модель подходит для транскрибации записей и аудиоматериалов на поддерживаемых языках. Демографические сведения о говорящих отсутствуют, поэтому в данных могут присутствовать смещения, в том числе из-за использования институциональных материалов. Лицензия — Apache-2.0.
Whisper Khmer v9 — дообученная модель распознавания речи на кхмерском языке, созданная на основе openai/whisper-large-v3-turbo. Она предназначена для преобразования кхмерской речи в текст, в том числе при обработке аудио фрагментами до 30 секунд через стандартный конвейер automatic-speech-recognition в Transformers. Модель использует архитектуру Whisper и содержит около 913 млн параметров. Для распознавания применяется специальный объединённый BPE-токенизатор для кхмерского языка с 57 908 токенами. При обучении использовались 11 техник аугментации аудио; вероятность аугментации составляла 0,3. В карточке приведена оценка WER около 22% на чистом наборе проверки на шаге 1200. Модель распространяется по лицензии MIT.
Yoruba-ASR — модель автоматического распознавания речи на йоруба, разработанная Awarri Technologies при поддержке Федерального министерства связи, инноваций и цифровой экономики Нигерии. Это дообученная версия Whisper Small с 244 млн параметров, принимающая аудио и выдающая текстовую транскрипцию на йоруба. Для распознавания рекомендуется аудио с частотой 16 кГц; максимальная длительность обработки за один запуск — 30 секунд. Модель предназначена для транскрибации речи в образовательных и вспомогательных сервисах, проектах по сохранению языка и культуры, общественных технологиях и медиа. Обучающие данные включают 120 часов записей с разных регионов Нигерии и общедоступные наборы данных. Лицензия указана как other; условия карточки разрешают исследовательское, образовательное и общественно полезное применение, а для коммерческого или крупномасштабного корпоративного использования требуют отдельного соглашения и запрещают ряд вредоносных сценариев.
ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.
Это версия ACE-Step 1.5 XL Turbo в формате BF16, подготовленная marcorez8 на основе ACE-Step/acestep-v15-xl-turbo. Модель использует архитектуру DiT с декодером на 4 млрд параметров и предназначена для генерации музыки и аудио по текстовому описанию. Дистилляция ускоряет генерацию до 8 шагов, а BF16 снижает требования к памяти при заявленном близком к исходной модели качестве. Для работы требуется от 8 ГБ видеопамяти с выгрузкой на CPU и квантизацией INT8; без выгрузки рекомендуется от 16 ГБ. Разработчики ACE-Step — ACE Studio и StepFun, конверсию BF16 выполнил marcorez8. Репозиторий распространяется по лицензии MIT; README сообщает, что сгенерированную музыку можно использовать коммерчески.
ArabicT5-news-classification-generation — модель на архитектуре T5, разработанная Hezam и дообученная для классификации и генерации текстов арабских новостей. Она принимает текст новости и формирует текстовый ответ, где число обозначает одну из восьми категорий: политика, экономика, здоровье, спорт, культура, технологии, искусство или происшествия. Модель содержит 89,8 млн параметров, использует библиотеку Transformers и формат safetensors; родной контекст — 512 токенов. В карточке приведены результаты оценки: точность классификации 96,17% и генерации 87,16%. Модель подходит для автоматической категоризации арабских новостных материалов и генерации связанных с категорией ответов. Лицензия в предоставленных данных не указана.
AuraFlow v0.3 — открытая модель генерации изображений по текстовому описанию, разработанная fal. Это flow-based модель для преобразования текстовых запросов в изображения; по сравнению с AuraFlow v0.2 она обучалась с большими вычислительными затратами и дополнительно дообучалась на эстетических наборах данных. Модель поддерживает разные соотношения сторон и генерацию изображений шириной и высотой до 1536 пикселей. В карточке заявлены результаты уровня state of the art на GenEval. Модель находится в бета-версии, поэтому качество и поведение могут меняться по мере дальнейшей разработки. Распространяется по лицензии Apache-2.0.
BAGEL-NHR-Edit — модель ByteDance BAGEL, дообученная автором репозитория на первой части набора NHR-Edit с помощью LoRA. Она предназначена для редактирования изображений по текстовым инструкциям: изменения стиля, удаления и добавления объектов, замены элементов и фона, а также других правок. Базовая BAGEL-7B-MoT поддерживает понимание изображений и видео, генерацию и редактирование изображений; для этой версии в карточке приведены результаты тестов GEdit-Bench-EN и ImgEdit-Bench. Веса доступны в формате safetensors, лицензия — Apache-2.0. README отсылает к официальному репозиторию BAGEL за инструкциями по установке и использованию. Количественные результаты приведены для отдельных тестов и зависят от используемых моделей-оценщиков.
JordiAb/BART_news_summarizer — модель абстрактивного суммирования новостных статей на основе BART-large, дообученная JordiAb с использованием сводок StableBeluga-7B в роли учителя. Модель содержит 252,8 млн параметров, построена на архитектуре BART и принимает текст с контекстом до 1024 токенов; для хранения весов используется safetensors. Она рассчитана на английский язык и новостные тексты. Модель подходит для быстрого создания кратких пересказов новостных статей и обработки больших потоков новостного контента при ограниченных вычислительных ресурсах. В README заявлены ROUGE-1 0,66, cosine similarity 0,90 и скорость вывода примерно втрое выше, чем у StableBeluga-7B; методика оценки не описана. Обучающие статьи происходили из мексиканской газеты, были переведены с испанского на английский, а затем использовались для обучения на сводках учителя. Качество перевода могло повлиять на результаты, а на текстах других жанров качество может снижаться. Лицензия в предоставленных данных не указана.
Модель BERT2BERT разработана Patrick von Platen и дообучена для суммаризации новостных текстов на наборе CNN/DailyMail с использованием фреймворка EncoderDecoder от Hugging Face. Это модель типа encoder-decoder на базе BERT; в репозитории представлены веса PyTorch. На тестовом наборе CNN/DailyMail автор сообщает оценку ROUGE-2 18,22. Модель подходит для создания краткого пересказа новостной статьи на английском языке. Лицензия — Apache-2.0.