I.9Аудио и музыка

Модель seniruk/whisper-small-si разработана Seniru Epasinghe и представляет собой дообученную версию Whisper Small от OpenAI для распознавания синхальской речи и преобразования её в текст. Она построена на архитектуре Whisper и содержит 153,1 млн параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Модель обучена на наборе seniruk/sinscribe-sinhala-stt. В README приведён результат оценки на тестовой выборке: WER 29,1387 и loss 0,0829. Автор рекомендует подавать аудио с низким уровнем шума для получения лучших результатов. Модель рассчитана на транскрибирование синхальской речи. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии.

carlot/whisper-tiny-zh — дообученная carlot модель распознавания речи на основе openai/whisper-tiny. Она предназначена для преобразования аудиозаписей на китайском языке в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 29,4 млн параметров и дообучена на наборе Common Voice 11.0. Распространяется в формате PyTorch по лицензии Apache-2.0.

Модель XLS-R-300M Uyghur CV8 разработана Lucio и дообучена на базе facebook/wav2vec2-xls-r-300m для распознавания уйгурской речи. Это модель Wav2Vec2ForCTC размером около 402,7 млн параметров, обученная на данных Common Voice 8.0 для уйгурского языка; её словарь использует буквы уйгурского алфавита на персо-арабской графической основе. Модель преобразует аудиозапись речи в текст и подходит для черновых субтитров к видео и индексирования записанных передач. На тестовой выборке указана WER 0,3248. Apache-2.0 — лицензия модели. Распознавание недостаточно надёжно для живых субтитров, используемых в целях доступности. При работе с записями следует учитывать приватность говорящих, представленных в Common Voice и других аудиоматериалах.

AfriVoices East Africa — ASR multilingue edge — это система распознавания речи для шести восточноафриканских языков, разработанная для соревнования AfriVoices East Africa: ASR Hackathon. Акустическая часть основана на Facebook Wav2Vec2-BERT 2.0 с CTC-головой и общим символьным словарём из 67 символов; для декодирования используются отдельные 5-граммные языковые модели KenLM для каждого языка. Метаданные указывают 402,7 млн параметров и формат Safetensors. Модель предназначена для офлайн-транскрибации аудио на встраиваемых устройствах, включая Raspberry Pi 4 и Android. В README приведены результаты соревнования с макроусреднённым WER около 0,455 для лучшей конфигурации и показатели производительности на CPU; заявлено потребление памяти до 6,71 ГБ в прямом режиме и оконный резервный режим для длинных записей. Поддерживаются суахили, сомали, кикуйю, луо, календжин и маасаи. Лицензия — Apache-2.0.

Granite-4.0-1b-speech — компактная речевая модель IBM на 1 млрд параметров, полученная адаптацией Granite-4.0-1b-base для работы с аудио. Она предназначена для многоязычного распознавания речи и перевода речи в текст, в том числе перевода между английским и французским, немецким, испанским, португальским и японским; также поддерживается перевод с английского на итальянский и китайский. Модель принимает аудио и выдаёт текст. Для распознавания имён и аббревиатур можно использовать списки ключевых слов; авторы также отмечают высокую скорость распознавания и пригодность для устройств с ограниченными ресурсами. Модель построена на архитектуре Granite Speech и распространяется в формате safetensors для Transformers. Лицензия — Apache 2.0. README описывает обучение на открытых корпусах для распознавания и перевода речи, включая синтетические данные для японского распознавания и распознавания с подсказками по ключевым словам. Модель рассчитана на английский, французский, немецкий, испанский, португальский и японский языки. Итальянский и китайский указаны для перевода только с английского. Результаты могут зависеть от языка, акустических условий и соответствия данных пользователя обучающим корпусам; ключевые слова помогают распознавать заданные имена и аббревиатуры.

IberLang — модель классификации аудио, разработанная для распознавания языков Пиренейского полуострова. Это дообученная Ugiat модель на основе openai/whisper-medium с архитектурой WhisperForAudioClassification и 455,8 млн параметров. Модель принимает аудио и определяет, звучит ли на нём испанский, каталанский, галисийский, баскский или окситанский язык. Модель предназначена для автоматической языковой идентификации, в том числе для региональных и малоресурсных языков. В оценке на отложенной выборке из 1200 аудиозаписей VoxLingua107 IberLang авторы сообщают точность 0,902 для каталанского, 0,96 для баскского, 0,915 для галисийского, 0,655 для окситанского и 1,0 для испанского; это результаты на конкретной выборке, а не гарантия качества на других данных. Модель распространяется в формате safetensors по лицензии CC BY 4.0. Указанную лицензию базовой модели и возможные ограничения её использования следует учитывать отдельно.

Это модель автоматического распознавания японской речи reazon-research/japanese-zipformer-base-k2-rs35kh, разработанная Reazon Research. Она основана на архитектуре Zipformer и дообучена с помощью k2 на крупномасштабном японском корпусе ReazonSpeech v2.0. Модель содержит около 96,5 млн параметров и доступна в формате Safetensors для использования через Transformers. Модель предназначена для преобразования японской речи в текст, включая распознавание записей из наборов JSUT-BASIC5000, Common Voice и TEDxJP-10K. В опубликованных результатах CER составил 9,71% на JSUT-BASIC5000, 11,00% на Common Voice и 13,07% на TEDxJP-10K. Для длинной речи в тесте JSUT-BOOK результат не приведён, поэтому пригодность для длинных записей по этим данным оценить нельзя. Лицензия — Apache-2.0.

NOESIS-Whisper3-1.6B-Large-Turbo-Darwin-99LANG-BF16 — мультиязычная модель распознавания речи от AMAImedia, созданная для платформы автоматизации дубляжа NOESIS. Это объединение openai/whisper-large-v3 и openai/whisper-large-v3-turbo: энкодеры усреднены, а 32-слойный декодер взят из Whisper Large-v3. Модель содержит около 1,543 млрд параметров, работает с аудио и выдаёт текст; карточка заявляет поддержку 99 языков. Она предназначена для распознавания речи в сценариях дубляжа, определения языка, расстановки пословных временных меток, проверочной базовой транскрипции и резервного распознавания. По README модель загружается через Transformers и в BF16 занимает около 2 ГБ VRAM; разработчик позиционирует её как вспомогательную модель, работающую параллельно с основной системой транскрипции. Указанная лицензия — MIT. Усреднение энкодеров нацелено на сочетание мультиязычной устойчивости Whisper Large-v3 с дистиллированными представлениями Turbo, а декодер Large-v3 сохраняет качество генерации. Ограничения: модель описана как вспомогательный путь, а не основной транскрибатор NOESIS; результаты в README приведены для внутреннего сценария, поэтому их нельзя считать независимой оценкой качества. Полный список языков в предоставленных данных не перечислен.

Ogaal ASR — модель автоматического распознавания речи от Ogaal Labs, созданная дообучением Whisper large-v3. Она преобразует сомалийскую речь в текст и предназначена для транскрибации записей и интеграции в локальные приложения для сомалийского языка. Модель построена на архитектуре WhisperForConditionalGeneration; веса опубликованы в формате safetensors. Для обучения использовано около 72,1 часа сомалийской речи, включая записи дикторов с разными акцентами и стилями речи. На тестовой выборке указаны WER 0,2278 и CER 0,1186. Модель ориентирована на сомалийский язык, а английский не входил в цель обучения. Качество может снижаться на тематиках, акцентах и условиях записи, отличающихся от использованных при оценке. В метаданных лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория.

themohal/saraiki-whisper-small — модель распознавания речи на сараики, созданная дообучением openai/whisper-small. Она принимает аудио и преобразует речь в текст; в метаданных указана поддержка сараики. Модель построена на архитектуре Whisper и распространяется в формате safetensors через Transformers. В README приведены результаты оценки: Loss 0.2483, WER 21.8085 и CER 7.2201. Датасет и условия оценки не описаны, поэтому эти показатели нельзя напрямую переносить на другие аудиозаписи. Модель выпущена под лицензией Apache-2.0.

Shenava Koochik v1.0 — модель распознавания персидской речи из семейства Shenava-1, разработанная автором репозитория Reza2kn. Это исходный чекпойнт NeMo в формате FP32 с 114 млн параметров, основанный на NVIDIA stt_fa_fastconformer_hybrid_large и дообученный для персидского автоматического распознавания речи. Архитектура FastConformer Hybrid RNNT/CTC; в опубликованных вариантах развёртывания используется CTC-голова. Модель принимает одноканальную персидскую речь с частотой дискретизации 16 кГц и выдаёт текст на персидском языке. Поддерживаются режимы с несколькими настройками контекста; модель предназначена для оценки, дальнейшей тонкой настройки и экспорта. В опубликованных тестах указаны WER 7,49% на visualears-golden-6669 и 10,64% на FLEURS-fa при контексте [70,13] и принятой авторами нормализации текста. Качество распознавания может снижаться из-за акцента, шума, наложения речи, особенностей канала записи и переключения языков; важные по смыслу расшифровки следует проверять. Лицензия — Apache-2.0.

UBC-NLP/Simba-W — модель распознавания речи из серии Simba, разработанной UBC-NLP для африканских языков. Это дообученная на данных SimbaBench версия Whisper large v3; карточка описывает её как систему для транскрибирования речи, а метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель предназначена для распознавания речи на 43 африканских языках, включая амхарский, арабский, хауса, игбо, суахили, йоруба и зулу, а также французский и португальский. Она рассчитана на аудиоввод и выдаёт текстовые транскрипции; для запуска поддерживается библиотека Transformers. README заявляет о высокой точности благодаря обучающим данным с разными доменами, но не приводит численных результатов именно для этой модели. Модель распространяется по лицензии CC BY 4.0. Она предназначена для ASR; заявленная для семейства Simba возможность синтеза речи не подтверждена для этой конкретной модели.

Это модель сегментации речи для диаризации, разработанная сообществом diarizers-community. Она дообучена на испаноязычной части датасета Callhome на основе pyannote/segmentation-3.0 и предназначена для определения речевой активности и сегментов, связанных с говорящими, в аудиозаписях. Её можно использовать через библиотеку diarizers или включить в конвейер диаризации pyannote. На оценочном наборе указаны Loss 0,5198 и DER 0,1745; также приведены показатели ложных срабатываний, пропусков и ошибок идентификации говорящих. Модель распространяется в формате safetensors по лицензии MIT. Метаданные описывают базовую модель как сегментатор 10-секундных фрагментов, способный учитывать перекрывающуюся речь.

Это потоковая модель распознавания речи NVIDIA на базе FastConformer-Hybrid, обученная для грузинского языка. Она предназначена для преобразования речи в текст в приложениях с низкой задержкой и поддерживает потоковую обработку с упреждением 80 мс; обучение с несколькими значениями упреждения позволяет настраивать задержку. Модель содержит совместные декодеры Transducer и CTC и насчитывает около 115 млн параметров. Модель обучена с использованием NVIDIA NeMo на примерно 163 часах грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. При жадном декодировании Transducer указаны WER 7,44% на тестовой части Common Voice и 16% на Fleurs. На вход подаётся монофонический звук WAV с частотой 16 кГц, на выходе — текстовая расшифровка. Для запуска требуется NVIDIA NeMo; лицензия — CC BY 4.0. Качество может снижаться на технической лексике, непривычной разговорной речи и акцентированной речи. В README также указано, что модель пока не поддерживается NVIDIA Riva.

titu_stt_bn_conformer_large — модель распознавания речи на архитектуре Conformer, разработанная Hishab для транскрибации аудио на бенгальском языке. Она обучена примерно на 4,4 тыс. часов открытых нетелефонных аудиоданных и предназначена для распознавания речи, а также может служить отправной точкой для дообучения на пользовательских наборах данных с помощью NeMo. В оценке на тестовых наборах из использованных датасетов модель показала средний WER 7,9%. В метаданных указана связь дообучения с nvidia/stt_en_conformer_ctc_large. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Typhoon Whisper Turbo — модель автоматического распознавания речи на тайском языке, разработанная командой Typhoon и SCB 10X. Она дообучена на архитектуре OpenAI Whisper Large v3 Turbo и содержит 905,2 млн параметров. В карточке указаны четыре слоя декодера против 32 у Whisper Large v3 и обучение примерно на 11 000 часах тайской речи из GigaSpeech2, Common Voice и курируемых публичных медиаматериалов. Модель предназначена для офлайн-транскрибации тайской речи. Нормализация обучающих данных нацелена на обработку чисел, маркеров повторов и неоднозначностей, зависящих от контекста. В README сообщается о конкурентном качестве на наборах GigaSpeech2, TVSpeech и Google Fleurs, а также о меньших задержке и требованиях к памяти по сравнению со стандартными моделями Whisper; конкретные численные результаты не приведены. Модель принимает аудио и выдаёт текст. Она оптимизирована для тайского языка, а качество может снижаться на диалектах и акцентах, недостаточно представленных в обучающих данных. README рекомендует её прежде всего для офлайн-распознавания, а не потоковой транскрибации. Лицензия — MIT; в карточке также упоминаются условия использования OpenTyphoon.

Это модель автоматического распознавания речи на урду, разработанная Kingabzpro. Она основана на архитектуре Wav2Vec2ForCTC и дообучена из facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0. Размер модели — около 402,7 млн параметров; она принимает моноканальную аудиозапись с частотой 16 кГц и преобразует речь в текст на урду. Модель предназначена для транскрибирования речи и прототипирования систем распознавания урду. Для декодирования можно использовать включённую 5-граммную языковую модель KenLM: в README сообщается о WER 39,89% с KenLM против 56,07% при жадном CTC-декодировании на тестовой части Common Voice 8.0. Качество зависит от чистоты записи, акцента, переключения языков, фонового шума, специальной лексики и длины высказывания; транскрипты следует проверять перед ответственным использованием. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Sakha — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на якутском языке (саха) на данных Common Voice. Она преобразует аудиозапись речи в текст и рассчитана на распознавание речи на саха; для входного аудио требуется частота дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В тесте на данных Common Voice для саха указан результат 32,23%; README не уточняет метрику, поэтому его нельзя напрямую трактовать как точность или ошибку распознавания. Опубликованы веса PyTorch и Flax. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Georgian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на грузинском языке с использованием Common Voice. Она принимает аудио и преобразует речь в текст; входные записи должны иметь частоту дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель подходит для транскрибации грузинской речи и оценки распознавания на тестовых данных Common Voice. В README указана оценка WER 43,86% на грузинском тестовом наборе Common Voice. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Sagicc/whisper-medium-sr-v2 — 455,8-миллионная модель распознавания речи на базе Whisper Medium от OpenAI, дообученная разработчиком Sagicc на объединённых наборах Common Voice 16, Fleurs, новостных аудиозаписей Južne vesti и LBM. Модель принимает аудио и преобразует речь в текст; она предназначена прежде всего для распознавания сербской речи. В карточке приведены результаты оценки: WER 0,0738 и WER Ortho 0,1663. Модель использует архитектуру Whisper и опубликована в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает дополнительные сценарии применения и подробные ограничения.

Whisper Small Malayalam — модель распознавания речи, созданная Kavya Manohar дообучением openai/whisper-small на наборе Common Voice 13. Она предназначена для преобразования речи на малаялам в текст. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. На указанном в карточке наборе оценки модель получила значение WER 86,1789 и loss 0,5060. Эти результаты характеризуют только приведённую оценку и не гарантируют точность на других записях; подробности условий оценки в карточке отсутствуют.

chuuhtetnaing/whisper-small-myanmar — модель распознавания речи на основе Whisper Small, дообученная разработчиком на датасете chuuhtetnaing/myanmar-speech-dataset-openslr-80. Она принимает аудио и предназначена для преобразования речи на мьянманском языке в текст; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. Модель доступна в формате safetensors и рассчитана на использование через Transformers. На оценочном наборе указаны loss 0,1904 и WER 49,065%. Лицензия — Apache-2.0. Метаданные не приводят длину контекста; качество распознавания может различаться для аудио, не похожего на обучающие данные.

Whisper Tiny Myanmar — модель распознавания речи, созданная Thant Zin Phyo путём дообучения openai/whisper-tiny на наборе thantzinphyo/burmese-speech-refined-openslr-80. Она преобразует аудиозаписи на бирманском языке в текст и предназначена для транскрибации речи. Модель использует архитектуру Whisper, содержит 29,4 млн параметров и сохранена в формате Safetensors. В карточке приведены результаты на проверочной выборке: WER 51,72% и CER 13,11% для лучшего контрольного состояния на шаге 1200. Эти показатели указывают на заметные ошибки распознавания, поэтому результат может требовать проверки и исправления. Лицензия — Apache-2.0.

Yoruba-ASR — модель автоматического распознавания речи на йоруба, разработанная Awarri Technologies при поддержке Федерального министерства связи, инноваций и цифровой экономики Нигерии. Это дообученная версия Whisper Small с 244 млн параметров, принимающая аудио и выдающая текстовую транскрипцию на йоруба. Для распознавания рекомендуется аудио с частотой 16 кГц; максимальная длительность обработки за один запуск — 30 секунд. Модель предназначена для транскрибации речи в образовательных и вспомогательных сервисах, проектах по сохранению языка и культуры, общественных технологиях и медиа. Обучающие данные включают 120 часов записей с разных регионов Нигерии и общедоступные наборы данных. Лицензия указана как other; условия карточки разрешают исследовательское, образовательное и общественно полезное применение, а для коммерческого или крупномасштабного корпоративного использования требуют отдельного соглашения и запрещают ряд вредоносных сценариев.

Data2Vec-Audio-Base-960h — модель распознавания речи, разработанная Facebook (ныне Meta). Это акустическая модель на архитектуре Transformer семейства data2vec-audio с 113,3 млн параметров: она предварительно обучена методом self-supervised learning, а затем дообучена для распознавания речи на 960 часах аудио LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выдаёт текстовую транскрипцию; в карточке приведены результаты на тестовых разделах LibriSpeech: WER 2,77 для clean и 7,08 для other. Модель предназначена для транскрибации английской речи, в том числе оценки качества распознавания на LibriSpeech. Для корректной работы входное аудио нужно подавать с частотой 16 кГц. Веса доступны в формате PyTorch по лицензии Apache-2.0. Карточка не описывает качество на других языках и акустических условиях, поэтому результаты за пределами LibriSpeech могут отличаться.

gemma-3n-E4B-it-MLX-4bit — это 4-битная квантованная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google. Квантование в формате MLX предоставлено командой LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач преобразования изображений, аудио и видео в текст, включая автоматическое распознавание и перевод речи, а также сценарии audio-text-to-text и video-text-to-text. В README не указаны точные архитектурные параметры, число параметров, поддерживаемые языки и размер контекстного окна. Ключевые преимущества — сниженное потребление памяти и вычислительных ресурсов благодаря 4-битной квантовании и адаптация к экосистеме Apple Silicon. Возможные ограничения связаны с потерей точности из-за квантования, а также с отсутствием в предоставленных данных подробных характеристик качества и совместимости. Для доступа и использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в её тексте.

Модель karanjaxyz/gikuyu-asr-v0 — дообученная на наборе karanjaxyz/kikuyu-asr-data модель OpenAI Whisper Small для автоматического распознавания речи на кикуйю. Она принимает аудио и генерирует текстовую транскрипцию. В карточке указаны результаты оценки: WER 32,86 и CER 10,47; описание не содержит подробностей о сценариях применения или условиях записи, использованных при оценке. Модель построена на архитектуре Whisper и опубликована в формате safetensors для Transformers. Лицензия — Apache-2.0.

hviske-v5.1 — модель автоматического распознавания датской речи, разработанная syvai. Это 2-миллиардная модель архитектуры Conformer encoder-decoder, обученная примерно на 3,5 млн аудиозаписей общей длительностью около 16 тыс. часов из набора syvai/danish-asr-unified. Она преобразует аудио в текст и предназначена для транскрибации датской речи, в том числе разговоров и чтения вслух. Модель принимает аудио, автоматически разбивает записи длиннее 35 секунд на фрагменты и выполняет внутреннее преобразование частоты дискретизации в 16 кГц. Для запуска описана поддержка Transformers 4.57.6 и сервера vLLM с API, совместимым с OpenAI. Указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор рекомендует более новую версию hviske-v5.3; версия v5.1 сохранена как основа для последующих дообучений и воспроизводимости.

Это конверсия классификатора языков речи Silero в формат GGUF для использования с CrispASR. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц и выдаёт логарифмические вероятности для 95 языков и 58 языковых групп. В архитектуре используются обучаемый STFT-фронтенд, свёрточный энкодер в стиле MobileNet с трансформерными блоками и пулинг с весами внимания; модель содержит около 4 млн параметров. Модель подходит для определения языка речи в аудиозаписи и для автоматического выбора языка перед распознаванием речи в CrispASR, в том числе с бэкендами без встроенной идентификации языка. Наилучшие результаты указаны для фрагментов речи длительностью примерно 3–20 секунд. Конверсия выполнена из ONNX-модели snakers4/silero-lang-classifier-95; обучения или изменения возможностей не проводилось. Репозиторий распространяется по лицензии MIT.

BuzzASR — Sorani Kurdish — это одноязычная модель распознавания речи на курдском языке сорани, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Она основана на openai/whisper-large-v3 и полностью дообучена с заменой токенизатора для языка и дополнительным мультитасковым обучением на текстовых данных. Модель содержит 907,3 млн параметров и принимает аудио, выдавая текстовую расшифровку. Модель предназначена для транскрибации речи на сорани. В тестах FLEURS и Common Voice 25 модель показала CER 9,68% и 3,58% соответственно; на объединённом тестовом наборе CER составил 7,43%, а WER — 26,43%. Модель лицензирована по MIT. Модель рассчитана только на сорани; качество может отличаться на других предметных областях и диалектах. Оценка проводилась на тестовых выборках FLEURS и Common Voice.