IV.9Медиа, журналистика, культура, архивы и игры

ASID-Captioner-7B — мультимодальная модель для детального описания видео, разработанная AudioVisual-Caption и дообученная на основе Qwen/Qwen2.5-Omni-7B на наборе ASID-1M. Она анализирует видеокадры и, если доступна, звуковую дорожку, формируя связное текстовое описание.

Карточка модели zhouyunhu/whisper-large-v3 на Hugging Face совпадает с карточкой openai/whisper-large-v3, поэтому описание составлено по ней. Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.

Danish-summarisation/DanSumT5-large — модель для абстрактивного суммирования новостных статей на датском языке. Она основана на mT5-large от Google и дообучена на абстрактивной части набора DaNewsroom с использованием категорий плотности, применяемых в Newsroom. Модель принимает текст статьи и создаёт её краткое изложение, поэтому подходит для подготовки дайджестов и сокращённых версий новостных материалов. Архитектура — MT5ForConditionalGeneration, размер — 608,4 млн параметров; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

NaijaVox-2.0 — модель распознавания речи с открытыми весами, разработанная Axiveri для нигерийских языков и вариантов английского. Она дообучена методом PEFT LoRA на базе OpenAI Whisper large-v3 и предназначена для преобразования аудиозаписей в текст на йоруба, хауса, игбо, нигерийском пиджине и нигерийском английском. Модель содержит около 905,3 млн параметров; в репозитории веса представлены в формате Safetensors. Обучение проводилось на 25 866 примерах из семи наборов данных с применением SpecAugment и добавлением фонового шума. По данным карточки, модель подходит для транскрибации разговоров, интервью, эфиров и голосового ввода, в том числе в шумных условиях и при переключении между языками. Для йоруба заявлена поддержка диакритики. В тестах на небольших выборках WER составил 14,7% для нигерийского пиджина, 19,6% для нигерийского английского, 22,3% для йоруба, 25,8% для хауса и 30,5% для игбо. Модель принимает аудио и выдаёт текст. Качество может зависеть от языка, акцента, шума и условий записи; опубликованные метрики получены на тестах по 50 примеров на язык и не гарантируют аналогичных результатов в других сценариях. Лицензия — Apache-2.0.

paprika-whisper-lt-v3 — третье поколение модели распознавания литовской речи, созданное для kalamo.ai и дообученное на базе kristijonas/paprika-whisper-lt. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration; в README указано, что она основана на whisper-large-v3-turbo и обучена на примерно 3 281 часе данных LIEPA-3. Модель принимает монофоническое аудио с частотой 16 кГц и преобразует речь в текст на литовском языке. Модель предназначена для транскрибации аудиозаписей и создания субтитров, в том числе для длинных файлов. Она рассчитана на высокую скорость работы: авторы указывают примерно 83-кратную скорость относительно реального времени и отмечают, что качество уступает некоторым более крупным литовским моделям. Вывод сохраняет разговорные формы речи, но по умолчанию содержит только строчные буквы и не содержит пунктуации; README рекомендует добавлять пунктуацию отдельным теггером. Для длинных записей README рекомендует длинноформатное декодирование и предупреждает, что сегментация фиксированными окнами может терять фрагменты речи или порождать текст на тишине. Доступ к весам предоставляется по лицензии CC BY 4.0.

Whisper large-v3, дообученная AiLab.lv для распознавания латышской речи. Модель преобразует аудио в текст и предназначена для транскрибации записей на латышском языке, включая голосовые записи и материалы вещательных СМИ. Дообучение выполнено с помощью Hugging Face Transformers на 282,4 часа данных из латышской части Common Voice 19.0 и набора LATE-Media. В репозитории указаны результаты оценки на тестовых данных: WER 4,8 на форматированном тесте Common Voice, 3,2 на нормализованном тесте Common Voice и 19,2 на тесте LATE-Media. Модель содержит около 905,2 млн параметров; карточка также описывает отдельные квантованные варианты в форматах для whisper.cpp и CTranslate2. Модель рассчитана прежде всего на латышскую речь; показатели на тесте LATE-Media указывают, что качество может заметно различаться между наборами данных. Лицензия — Apache-2.0.

TalTechNLP/whisper-large-v3-turbo-et-subs — дообученная модель OpenAI Whisper large-v3-turbo, адаптированная для создания субтитров на эстонском языке. Разработчики дообучили её на примерно 770 часах вручную подготовленных субтитров эстонского телеканала ETV. Модель принимает аудио и генерирует текст; архитектура Whisper, около 905,2 млн параметров. Модель предназначена для распознавания эстонской речи и подготовки субтитров, строки которых обычно соответствуют требованию ETV — до 48 символов. При этом результат не всегда дословный: модель может перефразировать и сокращать текст, особенно для спонтанной речи, запинок и повторов. Репозиторий содержит веса Safetensors, модель можно использовать через Transformers. Лицензия — MIT.

DanSumT5-base — модель на базе mT5-base, дообученная для абстрактивного суммирования новостных статей на датском языке. Она предназначена для создания краткого связного пересказа статьи и может применяться для подготовки сводок датских новостей. Для дообучения использована абстрактивная часть датасета DaNewsroom с категориями плотности, применявшимися в Newsroom. Модель содержит 291,2 млн параметров, построена на архитектуре MT5ForConditionalGeneration и распространяется в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

Demodokos Foundry Speech Synthesis v4.large — модель синтеза речи из семейства Demodokos Foundry, предназначенная для использования в локальной студии Foundry. Она создаёт выразительную речь и поддерживает управление эмоциями по отдельным фрагментам текста, клонирование голоса по короткому образцу и многоголосые сцены. Модель заявлена для десяти языков: английского, немецкого, французского, испанского, итальянского, португальского, китайского, японского, корейского и русского. В метаданных указаны формат GGUF и лицензия other. Карточка описывает семейство v4.large как ориентированное на высокую выразительность и качество голоса, но не приводит размер модели или длину контекста.

Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.

Kazakh Whisper Large-v3 Turbo — модель распознавания речи на казахском языке, созданная автором репозитория shyngys879 путём дообучения Whisper Large-v3 Turbo от OpenAI. Это модель семейства Whisper с архитектурой encoder-decoder; она принимает аудио и выдаёт текстовую расшифровку. Чекпойнт предназначен для использования через Transformers и Hugging Face pipelines без LoRA-адаптера или специального кода загрузки. Модель обучена на смеси публичных казахских речевых наборов: README сообщает о 841 113 обучающих примерах и более чем 1 500 часах речи. Среди сценариев — транскрибация записей, создание субтитров, расшифровка подкастов, интервью и встреч, а также подготовка речевых данных и обработка звонков. В тесте FLEURS для казахского языка указаны WER 11,80% и CER 4,98%; результаты относятся к описанному набору оценивания. Качество может снижаться при сильном фоновом шуме, перекрывающихся голосах, выраженных акцентах и диалектах, смешении казахского с русским, записях с преобладанием музыки и обработке очень длинного аудио без сегментации. README рекомендует подавать аудио с частотой 16 кГц и разбивать длинные записи на фрагменты. Модель распространяется по лицензии Apache-2.0.

MOSS-SoundEffect — модель генерации звуковых эффектов и звуковых ландшафтов по текстовому описанию, разработанная MOSI.AI и командой OpenMOSS как часть семейства MOSS-TTS. Она предназначена для создания фоновой атмосферы и отдельных звуков природы, городской среды, животных и действий человека — например, для фильмов, игр, подкастов, интерактивных систем и синтетических аудиоданных. Модель использует архитектуру MossTTSDelay: авторегрессионно предсказывает дискретные RVQ-аудиотокены по текстовой подсказке и затем декодирует их в звук. Можно задавать длительность генерации; в README приведена оценка около 12,5 токена на секунду. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. В описании нет сведений о числе параметров или поддерживаемых естественных языках.

NB-Whisper Base beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. Она предназначена для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Модель относится к семейству Whisper; в метаданных указано 51,7 млн параметров. Она принимает аудио и выдаёт текст, поддерживается библиотекой Transformers и доступна в форматах PyTorch, TensorFlow, Flax, ONNX и safetensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежские речевые базы, парламентские выступления, телесубтитры и аудиокниги. Разработчики сообщают о высоком качестве для норвежской транскрибации среди ASR-моделей сопоставимого размера. Это публичная бета с лицензией CC BY 4.0. Разработчики предупреждают, что модель может галлюцинировать, пропускать фрагменты и нормализовать устную речь в грамматически правильный письменный текст; поэтому результат может не быть дословной транскрипцией.

NB-Whisper Large beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Она предназначена для транскрибации речи и перевода речи, с особым упором на норвежские записи; поддерживает норвежский букмол, нюнорск и английский. Модель содержит 905,2 млн параметров и доступна в форматах PyTorch, TensorFlow, JAX/Flax и SafeTensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежскую базу NST, парламентские выступления, телесубтитры NRK и аудиокниги. Для норвежской транскрибации разработчики заявляют высокие результаты среди моделей сопоставимого размера. Это публичная бета: возможны галлюцинации и пропуски фрагментов, а транскрипт может нормализовать устную речь в грамматически правильный письменный текст или опускать части высказывания. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

Ateeqq/news-title-generator — англоязычная модель для создания заголовков новостных статей, разработанная на основе T5 и дообученная автором на наборе новостных примеров. Она принимает текст статьи и генерирует краткий заголовок; подходит для подготовки черновиков заголовков в редакционных системах и автоматизации публикации новостей. Модель построена на архитектуре T5ForConditionalGeneration, содержит около 123,8 млн параметров и рассчитана на контекст до 512 токенов. Для работы используются Transformers и PyTorch; доступны веса PyTorch и Safetensors. Карточка сообщает о более чем 78 тысячах примеров для обучения и отдельной тестовой выборке. Лицензия — Apache-2.0. Оценки качества не подтверждены приведёнными сравнительными результатами; сгенерированные заголовки могут упускать детали или неточно отражать содержание статьи и требуют редакторской проверки.

ifyou819/summary-bbc-dataset-v4 — дообученная авторами репозитория модель Pegasus для суммаризации текстов. Она предназначена для создания кратких сводок, в частности новостей и статей; базовая модель также описана как предназначенная для такой задачи. Модель содержит 366,8 млн параметров, принимает текстовый ввод, а её нативная длина контекста составляет 1024 токена. В README приведены результаты оценки: ROUGE-1 0,504, ROUGE-2 0,363 и ROUGE-L 0,389. Данных о лицензии в доступных источниках нет.

Sybyrla — модель распознавания речи на основе Whisper Large V3, дообученная Inflexion Lab для казахской речи. Она преобразует аудио в текст и рассчитана на транскрибацию казахской речи, в том числе записанной в региональных акустических условиях. Модель обучалась на смеси данных KSC2 и русскоязычного Common Voice: русская речь помогает распознавать заимствования и переключение между казахским и русским языками. Для текстов KSC2 применялась автоматическая обработка с восстановлением заглавных букв и пунктуации. На тестовой части KSC2 заявлен WER около 17,7%. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и опубликована в формате safetensors. Лицензия — Apache 2.0. Показатель WER относится к тесту KSC2; качество на других языках, аудиосредах и типах записей может отличаться.

VDC-Agent-7B — мультимодальная модель для создания подробных описаний видео, представленная вместе со статьёй ECCV 2026. Она дообучена на Qwen2.5-VL-7B-Instruct с использованием набора предпочтений VDC-Agent-19K, включающего около 19 тысяч пар для обучения подробному описанию видео. Модель принимает видео и формирует текстовые подписи, уделяя внимание деталям содержания. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и формат safetensors. Контекстное окно составляет 128 000 токенов. В метаданных указан английский язык. Лицензия — CC BY-SA 4.0.

InflexionLab/VibeVoice-ASR-Kazakh — модель распознавания речи на казахском языке, созданная дообучением Microsoft VibeVoice-ASR с помощью LoRA; адаптеры объединены с базовыми весами для инференса. Обучение проводилось на наборе ISSAI-KSC2-Structured объёмом около 1 200 часов казахской речи из новостей, парламентских выступлений, ток-шоу, подкастов, радио и краудсорсинговых записей. Модель преобразует казахскую речь в текстовую транскрипцию с пунктуацией и заглавными буквами. В README указаны WER около 22% и CER около 9,6% на тестовой части ISSAI KSC2, а также WER 17,6% и CER 4,25% на наборе farabi-lab/kazakh-stt, который не использовался при обучении. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.

Wav2Vec2-Large-Ru-Golos-With-LM — модель распознавания русской речи от bond005 на основе facebook/wav2vec2-large-xlsr-53. Модель Wav2Vec2 с архитектурой CTC содержит 402,7 млн параметров и дообучена на обучающей части датасета SberDevices/Golos с аугментациями аудио. Для декодирования используется 2-граммная языковая модель, построенная на русскоязычных текстах Taiga, Википедии и Викиновостей. Модель предназначена для преобразования русской речи в текст. Её оценивали на тестовых выборках SberDevices/Golos, русской части Common Voice 6.0 и Russian Librispeech; для работы входную речь нужно подавать с частотой дискретизации 16 кГц. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Описание не приводит численных метрик качества или результатов оценки.

Модель PereLluis13/wav2vec2-xls-r-300m-ca — версия wav2vec 2.0 XLS-R, дообученная на распознавание каталанской речи. Её подготовил PereLluis13 на основе facebook/wav2vec2-xls-r-300m с использованием данных Common Voice 8.0 для каталанского языка, tv3_parla и parlament_parla. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,7 млн параметров, веса представлены в формате PyTorch. Модель принимает аудио и преобразует речь в текст. В README приведён результат оценки WER 0,1499 на тестовых наборах трёх использованных корпусов. Она предназначена прежде всего для распознавания каталанской речи; на диалектах с меньшим объёмом обучающих данных может работать хуже. Также возможны смещения и особенности, унаследованные от краудсорсинговых и парламентских данных. Лицензия — Apache-2.0.

Модель comodoro/wav2vec2-xls-r-300m-cs-250 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания чешской речи. Она основана на архитектуре Wav2Vec2 с выходной CTC-головой и содержит 402,7 млн параметров. Для распознавания принимает аудио с частотой дискретизации 16 кГц и выдаёт текст на чешском языке. Модель дообучена на Common Voice 8.0 и чешских наборах OVM, встречах парламента Чехии и Vystadial 2016. В карточке приведены результаты на тестовой выборке Common Voice: WER 0,1475 и CER 0,0329; с языковой моделью указаны WER 0,0727 и CER 0,0212. Подходит для транскрибации чешских записей, включая диктовку, интервью и разговорную речь. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Результаты зависят от качества записи и близости речи к обучающим данным; для работы требуется аудиовход, записанный или приведённый к 16 кГц.

classla разработала wav2vec2-xls-r-juznevesti-sr — модель распознавания сербской речи на основе facebook/wav2vec2-xls-r-300m, дообученная на 58 часах аудио и расшифровок из программы «15 minuta» новостного издания Južne vesti. Это аудиомодель архитектуры wav2vec2 с CTC-декодированием и примерно 402,7 млн параметров. Модель предназначена для преобразования сербской речи в текст, в частности для записей, похожих на аудио обучающей выборки. На dev- и test-частях набора JužneVesti указаны WER 0,295 и 0,290 соответственно, а CER — 0,141 и 0,138. Эти результаты относятся к оценке на данном наборе и не гарантируют аналогичного качества на других типах записей. Для работы в README приведён пример совместимости с Transformers, PyTorch и SoundFile; лицензия в доступных данных не указана.

NavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.

Это дообученная модель OpenAI Whisper Large V3 Turbo от ele-sage для автоматического распознавания речи на канадском французском, включая квебекский диалект. Она преобразует аудио в текст и рассчитана на транскрибацию медиа, подкастов, интервью, формальных выступлений и повседневной речи с региональными акцентами. Модель построена на архитектуре Whisper с последовательным преобразованием аудио в текст и содержит около 905,2 млн параметров. Для дообучения использовали примерно 69 часов записей: выступления в Национальной ассамблее Квебека и данные Common Voice на канадском и других вариантах французского. В README указана частота дискретизации 16 кГц; фрагменты длиннее 30 секунд исключались или сегментировались. На валидационном наборе автор сообщает WER 6,65%. Модель предназначена прежде всего для французской речи из Квебека; обучение на формальных выступлениях и краудсорсинговых записях призвано охватить разные регистры. Это не гарантия точности на других акцентах, шумных записях или темах, не представленных в обучающих данных. Лицензия — MIT.

TalTechNLP/xls-r-300m-et — модель распознавания эстонской речи, разработанная в Лаборатории языковых технологий TalTech. Это модель семейства wav2vec 2.0 с архитектурой Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-300m примерно на 800 часах эстонских аудиоданных. В репозитории указано 402,9 млн параметров; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания эстонской речи в передачах, интервью, выступлениях и других общих сценариях. Она включает CTC-модель без отдельной языковой модели. В README приведены результаты WER: 7,9 на jutusaated.devset, 6,1 на jutusaated.testset и 12,5 на Common Voice 6.1. Качество может быть ниже при распознавании технической и узкоспециальной лексики, детской или неродной речи, сильном шуме, удалённом микрофоне, спонтанной и перекрывающейся речи. Лицензия — CC BY 4.0.

data-silence/any-news-sum — дообученная модель mT5, созданная автором репозитория на основе набора sumnews, который опирается на XL-Sum. Она предназначена для обработки новостной статьи целиком и генерации заголовка вместе с кратким изложением. Модель ориентирована прежде всего на русский язык, но заявлена поддержка 45 языков из обучающего набора и семейства mT5. Модель имеет архитектуру MT5ForConditionalGeneration, содержит 291,2 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. В карточке приведены результаты оценки на ROUGE-1, ROUGE-2 и ROUGE-L, а также сведения о четырёх эпохах обучения. Лицензия в предоставленных данных не указана.

APA-embed-embeddinggemma-300m-g39-v1.0 — текстовая модель эмбеддингов, дообученная агентством Austria Presse Agentur на базе google/embeddinggemma-300m. Она преобразует тексты в векторы размерностью 768 для семантического поиска; основная цель дообучения — поиск документов по запросу в большом корпусе, также поддерживается поиск похожих документов по примеру. Обучение использовало новостные тексты, предоставленные участниками G39. Модель основана на семействе Gemma и совместима с SentenceTransformers, vLLM и HuggingFace Text Embeddings Inference. Благодаря обучению Matryoshka векторы можно сокращать до 512, 256 или 128 измерений с небольшим снижением качества. Лицензионные условия унаследованы от базовой модели и отсылают к Gemma Terms of Use.

Audio-Omni — мультимодальная система для понимания, генерации и редактирования аудио, представленная как работа для SIGGRAPH 2026. Она объединяет замороженную мультимодальную языковую модель Qwen2.5-Omni для высокоуровневого анализа с обучаемым Diffusion Transformer для синтеза звука. В репозитории указаны веса PyTorch размером около 21 ГБ и отдельный чекпойнт Synchformer для видеоконтекста. Система предназначена для описания аудио и видео и ответов на вопросы о них, генерации звуков, музыки и речи по тексту или видео, преобразования голоса, а также редактирования аудио: добавления, удаления и извлечения звуков и переноса стиля. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Eagle 2.5-8B — мультимодальная модель семейства Eagle 2.5 от NVIDIA для анализа изображений, видео и текста. В основе архитектуры — визуальный энкодер SigLIP2-So400m-Patch16-512 и языковая модель Qwen2.5-7B-Instruct, объединённые в мультимодальную архитектуру на базе LLaVA с разбиением изображений на фрагменты. Модель поддерживает изображения высокого разрешения, многостраничные документы, длинный текст и видео до 512 кадров; контекст при обучении постепенно расширяли с 32K до 128K токенов. Модель предназначена для ответов на вопросы по видео и изображениям, суммаризации видео, локализации событий и понимания документов. В README сообщается о результатах на тестах понимания длинных видео и изображений, включая 72,4% на Video-MME при подаче 512 кадров. Указанная в метаданных лицензия — other; конкретные условия следует сверять с карточкой модели.