I.9Аудио и музыка

simran14/small_8_17f — модель распознавания речи на базе Whisper Small, дообученная Simran14 на датасете Common Voice 17.0. Она предназначена для преобразования аудио в текст; в README для оценки на тестовой выборке указаны loss 0,0436 и WER 4,1154. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors для Transformers. Модель рассчитана на распознавание речи на языке маратхи, указанном в метаданных. Лицензия Apache-2.0 разрешает использование и распространение на её условиях.

SraVaani-1.0 — модель автоматического распознавания речи (ASR), разработанная ARTPARK-IISc. Она предназначена для преобразования аудиозаписей в текст, включая распознавание речи на индийских языках и диалектах в сценариях транскрибации и обработки голосовых данных. Модель основана на архитектуре FastConformer и содержит около 430 млн параметров. Она использует гибридный декодер TDT-CTC, доступна в формате FP16 и занимает примерно 900 МБ. Предварительное обучение проводилось на 31 255 часах речи из набора Vaani, охватывающего 105 языков, а последующая настройка — примерно на 31 270 часах транскрибированной речи на 65 индийских языках и диалектах. Также применялось выравнивание аудио и изображений на 11 млн пар, что предназначено для улучшения представлений аудиоданных. Модель поддерживает, среди прочих, Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Sanskrit, Tamil и Telugu, а также множество региональных языков и диалектов; поддерживается и English. Качество существенно различается между языками: для Hindi средний WER составляет 12,4%, тогда как для некоторых малоресурсных языков он превышает 70–90%, поэтому результаты требуют проверки в конкретном сценарии. Urdu и Kashmiri в выпущенной версии не поддерживаются. Модель распространяется по лицензии MIT.

ctaguchi/ssc-led-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all, разработанная автором репозитория ctaguchi. Она принимает аудио и преобразует речь в текст с помощью архитектуры wav2vec2 и CTC. Базовая модель поддерживает более тысячи языков, однако для этой версии язык и обучающий датасет не указаны. В README приведены результаты на оценочном наборе: CER 0,1094, WER 0,3057 и loss 0,4620. Эти показатели относятся к указанному набору и не позволяют оценить качество на других данных. Модель опубликована в формате safetensors и рассчитана на использование с Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель GaborMadarasz/w2v-bert-2.0-hungarian-CV24.0 разработана как дообученная версия facebook/w2v-bert-2.0 для автоматического распознавания венгерской речи. Это акустическая модель архитектуры Wav2Vec2-BERT на 402,7 млн параметров, принимающая аудио и преобразующая его в текст. Она обучена на венгерской части набора Common Voice Scripted Speech 24.0 и предназначена для транскрибации записанной речи. В карточке приведены результаты оценки на тестовых данных Common Voice: WER 5,65%, CER 1,47% и SER 32,26% для 12 066 примеров. Результаты показывают пригодность для распознавания венгерской речи в условиях, похожих на тестовый набор, но ошибки на отдельных примерах могут быть значительными. Для загрузки README рекомендует скачать репозиторий и выполнять инференс локально из-за проблем с разрешением метаданных токенизатора в загрузчике Hugging Face. Модель распространяется по лицензии MIT.

patrickvonplaten/wav2vec2-2-bart-large — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60 и bart-large на чистой части датасета LibriSpeech ASR. Архитектура объединяет речевой энкодер wav2vec 2.0 и текстовый декодер BART в модели типа SpeechEncoderDecoderModel. Модель предназначена для преобразования аудиозаписей речи в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,0486 и loss 0,3204. Репозиторий содержит веса PyTorch; данных о лицензии в предоставленных источниках нет.

yongjian/wav2vec2-large-a — модель распознавания речи на базе Wav2Vec2, дообученная из facebook/wav2vec2-large-960h-lv60-self. Она предназначена для преобразования аудиозаписей в текст и размечена для английского языка; в метаданных указан датасет LIUM/tedlium. Модель содержит около 402,7 млн параметров и представлена в формате PyTorch. Карточка содержит мало сведений о качестве распознавания, допустимых условиях записи и конкретной конфигурации входного аудио. Лицензия в предоставленных данных не указана.

GetmanY1/wav2vec2-large-fi-lp-cont-pt-1500h — модель распознавания речи на основе Wav2Vec2 Large, дообученная Ярославом Гетманом и Тамасом Гросом на 1500 часах разговорной финской речи из корпуса Lahjoita puhetta (Donate Speech). Она преобразует финскую речь в текст и предназначена для транскрибации аудио. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. Для работы требуется аудио с частотой дискретизации 16 кГц. При дообучении использовались аудиофрагменты длиной до 50 секунд, поэтому модель лучше подходит для коротких записей сопоставимой длительности. На более длинных записях могут возникать ошибки нехватки памяти; их можно обрабатывать фрагментами. Из-за состава обучающих данных модель может быть смещена в сторону разговорного финского языка. Лицензия — Apache-2.0.

shniranjan/wav2vec2-large-xlsr-300m-nepali — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC из семейства wav2vec2. Она преобразует аудио на непальском языке в текст и предназначена для сценариев автоматической транскрипции речи. В метаданных указано 402,7 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель можно использовать напрямую, без языковой модели. Карточка не сообщает о специальных ограничениях качества или условиях применения; лицензия в предоставленных данных не указана.

tomascufaro/wav2vec2-large-xls-r-300m-spanish-small-v3 — дообученная модель распознавания речи на базе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Она использует архитектуру wav2vec2 с классификационной головой CTC и предназначена для преобразования испанской речи в текст. Модель обучалась на Common Voice; в карточке указаны значения Loss 0,3986 и WER 0,1980 на наборе оценки. Репозиторий содержит веса PyTorch и насчитывает около 402,7 млн параметров. Лицензия в доступных данных не указана.

Модель anton-l/wav2vec2-large-xlsr-53-estonian — дообученная на эстонском языке версия facebook/wav2vec2-large-xlsr-53, созданная на данных Common Voice. Это модель распознавания речи на базе Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров; она принимает аудио и преобразует эстонскую речь в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель можно запускать без языковой модели; в README указано значение оценки 30,74% на тестовых данных Common Voice, но метрика не уточнена. Модель предназначена для транскрибирования записей на эстонском языке и построена на обучающих и валидационных данных Common Voice. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Facebook wav2vec2-large-xlsr-53-french — модель распознавания французской речи, основанная на архитектуре wav2vec2 и настроенная для французского языка. Она принимает аудио и преобразует речь в текст; карточка сообщает об оценке на тестовой выборке Common Voice FR — 25,2 %. Модель содержит 402,7 млн параметров и доступна в форматах PyTorch и Flax. Модель подходит для транскрибации французской речи, например, записей и голосовых сообщений. Лицензия — Apache-2.0. Метаданные указывают на обучение или оценивание на Common Voice; сведений о поддержке других языков карточка не приводит.

arampacha/wav2vec2-large-xlsr-czech — дообученная модель распознавания чешской речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и обученная на данных Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; модель основана на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для автоматической транскрибации чешской речи, в том числе записей, похожих на тестовые данные Common Voice. В README приведён результат тестирования 24,56, но единица измерения не уточнена. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

Baybars/wav2vec2-xls-r-1b-turkish — модель автоматического распознавания речи на турецком языке, дообученная на датасете COMMON_VOICE - TR. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указана задача automatic-speech-recognition. На оценочной выборке указаны WER 0,4647 и CER 0,1318. Эти результаты описывают только приведённую оценку и не гарантируют качество на других данных. В README подробности о сценариях применения, обучающей выборке и ограничениях не приведены. Лицензия в доступных данных не указана.

Модель edugp/wav2vec2-xls-r-300m-cv8-es — дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она принимает аудио и выдаёт текст; архитектура основана на Wav2Vec2ForCTC, число параметров — 402,7 млн. В оценке на наборе Common Voice модель показала WER 0,1931. Модель подходит для транскрибирования аудиозаписей на испанском языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README не сообщает дополнительных сведений о режимах использования и ограничениях качества.

Larrycmu разработал эту модель дообучением facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Это плотная модель Wav2Vec2 с CTC-выходом, принимающая аудио и выдающая текст; репозиторий содержит веса в формате safetensors. Число параметров — около 402,8 млн. В карточке приведены результаты на тестовой выборке: CER 0,0746 и WER 0,3453. Язык распознавания и характеристики набора данных не раскрыты, поэтому применимость к конкретному языку и условиям записи по этим сведениям оценить нельзя. Лицензия — Apache-2.0.

mlx-community/whisper-base.en-asr-fp16 — англоязычная модель распознавания речи семейства Whisper, преобразованная сообществом mlx-community в формат MLX из openai/whisper-base.en с помощью mlx-audio версии 0.2.10. Она принимает аудио и преобразует речь в текст; предназначена для транскрибации английской речи в приложениях, использующих MLX и mlx-audio. Модель содержит 51,7 млн параметров, а файлы репозитория представлены в формате safetensors. Лицензия — Apache-2.0. Карточка отсылает к описанию исходной модели за дополнительными сведениями. Данные подтверждают английскую специализацию и задачу распознавания речи, но не сообщают длину контекста или ограничения качества.

deepdml/whisper-base-es-mix-norm — модель распознавания речи на основе Whisper Base от OpenAI, дообученная разработчиком deepdml. По метаданным, модель предназначена для преобразования аудио в текст и обучалась на наборах VoxForge, Common Voice, Basque Parliament, WorldSpeech, VoxPopuli, Fleurs и Multilingual LibriSpeech; README также сообщает о дообучении на Common Voice 17.0. Архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors и предназначены для использования с Transformers. На тестовом наборе из README указаны WER 12,4062 и CER 4,8335. Метаданные отмечают испанский язык, однако подробности о нормализации, поддержке отдельных языков и условиях оценки не раскрыты. Лицензия — Apache-2.0.

qanastek/whisper-base-french-cased — модель автоматического распознавания речи на основе Whisper Base, дообученная на французской части набора Mozilla Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации записей и аудио с французской речью. Архитектура — WhisperForConditionalGeneration; модель содержит 51,7 млн параметров и опубликована в формате PyTorch. В карточке приведены результаты оценки: WER 24,0648 на тестовой выборке Common Voice 11.0 для французского языка, 24,20 на FLEURS fr_fr и 23,66 на VoxPopuli fr. Модель распространяется по лицензии Apache-2.0. Оценки относятся к указанным наборам данных и не гарантируют аналогичного качества на иных аудиозаписях.

sarpba/whisper-base-hungarian_v4 — авторская дообученная версия OpenAI Whisper Base для распознавания речи на венгерском языке. Модель обучена на примерно 1617 часах тщательно отобранной венгерской аудиозаписи с несколькими сотнями говорящих; обучение включало аугментацию шумом MUSAN для 20% примеров. Архитектура — WhisperForConditionalGeneration, формат весов — safetensors; для работы используется библиотека Transformers. Модель предназначена для транскрибации венгерской речи, в том числе записей с фоновым и уличным шумом. В тестах она превзошла предыдущую версию v3, но уступила более старой модели Whisper Hungarian V2 на наборах FLEURS, Common Voice 17.0 и в тесте с шумом. Метрики на чтении не гарантируют такой же точности для спонтанной речи, телефонных разговоров или сильных акустических искажений. Коммерческое использование без согласия автора не разрешено; для личного применения README отсылает к условиям исходной лицензии Whisper.

TransWithAI/whisper-ja-1.5B-ct2 — преобразованная для CTranslate2 версия дообученной модели Whisper large-v3 для распознавания японской речи. Разработчик подготовил веса bfloat16 для использования с faster-whisper; в карточке заявлены конкурентные результаты по CER на проверенных наборах данных, а сведения о тестах приведены в карточке исходной модели. Модель предназначена для транскрибации японских аудиозаписей. README показывает запуск через faster-whisper на CUDA с типом вычислений bfloat16. Для использования нужны совместимые CTranslate2 и faster-whisper; сведения о лицензии в доступных данных отсутствуют.

Whisper Large-v2 Czech CV11 v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на чешской части набора Mozilla Common Voice 11.0. Она предназначена для преобразования чешской речи в текст. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров. На оценочной выборке указана WER 9,0459 и loss 0,2120. Обучение проводилось с оптимизацией DeepSpeed и размером пакета 32. Модель распространяется по лицензии Apache-2.0. Подробности о дополнительных сценариях применения и ограничениях в карточке не приведены.

mikr/whisper-large-v3-czech-cv13 — дообученная модель семейства Whisper, основанная на openai/whisper-large-v3. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; в README указана оценка на тестовой выборке: WER 0,0789 и loss 0,1283. Модель содержит 905,2 млн параметров и распространяется в формате Safetensors. Базовая Whisper large-v3 — мультиязычная модель OpenAI для транскрибации речи и перевода аудио в текст. Название указывает на ориентацию этой версии на чешскую речь, однако README не описывает обучающий набор данных, языковой охват или дополнительные сценарии применения. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI, дообученная командой gcoli для транскрибирования швейцарского немецкого на стандартный немецкий. LoRA-адаптер обучили на материалах FHNW/i4ds и объединили с базовыми весами; модель содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст. В карточке приведены результаты проверки на тестовом наборе из 5750 записей, охватывающем 17 диалектов: итоговый WER составляет 24,7%, CER — 12,7%. Для запуска доступны форматы safetensors и CTranslate2, совместимые с Transformers и faster-whisper. Модель предназначена для транскрибации швейцарских немецких диалектов в стандартный немецкий, в том числе в коммерческих сценариях. Для длинных записей рекомендуется отключать перенос контекста между фрагментами: иначе модель может добавлять вымышленный текст; на записях около 15 минут качество также может быть ниже, чем при распознавании отдельных коротких фрагментов. Лицензия модели — MIT; в карточке также указано, что базовая модель распространяется по Apache-2.0, а обучение выполнено на материалах с лицензией MIT.

primeline/whisper-large-v3-turbo-german — модель распознавания речи на основе Whisper Large v3 Turbo, дообученная Флорианом Циммермайстером для немецкой речи. Она предназначена для транскрибации немецкого аудио, создания субтитров, голосового управления, поиска по голосовым запросам и диктовки. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров по метаданным. Для обучения использовались немецкие речевые данные из нескольких источников; в карточке приведены оценки частоты ошибок слов на нескольких наборах данных. Модель принимает аудио и выдаёт текст, рассчитана на немецкий язык. Лицензия — Apache-2.0. Качество распознавания зависит от аудио и задачи: в приведённых оценках результаты различаются между наборами данных, а на некоторых тестах другие модели показывают меньшую частоту ошибок. Метаданные указывают на дообучение primeline/whisper-large-v3-german.

HHoofs разработал whisper-nl-noise — модель распознавания речи, дообученную на базе OpenAI Whisper medium. Она содержит 455,8 млн параметров и предназначена для транскрибации нидерландской речи в аудио с фоновым шумом. Для обучения использовался нидерландский раздел Mozilla Common Voice 11.0, дополненный шумами из записей Pixabay и фрагментов музыкальных треков. Модель рассчитана на шумные записи и может хуже работать на чистом аудио. Устойчивость к шуму зависит от его типа и контекста: модель не гарантирует одинакового качества при любых автомобильных и других фоновых шумах. Доступна по лицензии Apache-2.0.

gausshen/whisper-small-indonesian — это модель распознавания речи на базе Whisper Small от OpenAI, дообученная для индонезийского языка. Она принимает аудио и преобразует речь в текст; модель подходит для транскрибирования индонезийских записей. В карточке приведён результат оценки: loss 0,7176, но сведения о наборе данных и подробная оценка качества отсутствуют. Модель распространяется в формате safetensors по лицензии Apache-2.0.

safecantonese/whisper-small-yue-full — модель распознавания речи семейства Whisper, дообученная для преобразования аудио в текст. Она подходит для сценариев автоматической транскрипции; в оценке указаны Loss 0,0362 и CER 6,1457. Модель содержит 153,1 млн параметров и распространяется в формате safetensors. README не сообщает подробностей о языках, данных обучения и условиях использования, поэтому их нельзя уточнить по доступным сведениям.

Это зеркало модели распознавания речи Whisper Tiny, подготовленное KimtOS для использования в расширении KimtOS. Репозиторий содержит конфигурацию, токенизатор и квантованный файл ONNX; модель насчитывает 29,4 млн параметров и предназначена для загрузки через Transformers.js. Модель принимает аудио и преобразует речь в текст. Она подходит для встраивания распознавания речи в приложения, в том числе с подачей файлов с CDN KimtOS. В README указано, что исходная модель — Xenova/whisper-tiny; лицензия Apache-2.0 разрешает распространение при сохранении уведомления об авторских правах.

Модель wrice/whisper-tiny-grpo-0029b82-cv22-tiny-sft — версия Whisper tiny, дообученная автором репозитория с помощью GRPO и комбинированной награды на основе ошибок слов и символов. Она предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст; обучающие данные взяты из Common Voice для 77 языковых локалей, а язык клипа задавался по локали набора данных. По карточке, лучший общий результат на валидационной выборке по 77 языкам составил WER 0,602 и CER 0,253. Это экспериментальная компактная модель на архитектуре Whisper, доступная в формате safetensors и используемая через Transformers. Лицензия — MIT. Автор характеризует рецепт обучения как proof of concept, а не готовую производственную систему. Результаты зависят от предметной области, акцента, языка и качества аудио; метрики получены на нормализованной выборке Common Voice и не гарантируют аналогичного качества на реальных записях.

wrice/whisper-tiny-grpo-72a3573-fixed-en-t0.7-lr3e-6 — компактная модель распознавания речи на базе Whisper Tiny, дообученная разработчиком wrice методом GRPO (Group Relative Policy Optimization) с комбинированной наградой на основе ошибок слов и символов. Модель предназначена для преобразования аудиозаписей в текст; при обучении использовались англоязычные данные Common Voice 17.0, а язык аудио задавался по локали записи. На отложенной выборке Common Voice для английского указана WER 0,228. Это экспериментальная проверка концепции: результаты измерены на ограниченной валидационной выборке после нормализации текста и могут отличаться на других аудио, акцентах и в иных предметных областях. Репозиторий использует Transformers и формат safetensors; лицензия — MIT.