I.9Аудио и музыка

Sybyrla — модель распознавания речи на основе Whisper Large V3, дообученная Inflexion Lab для казахской речи. Она преобразует аудио в текст и рассчитана на транскрибацию казахской речи, в том числе записанной в региональных акустических условиях. Модель обучалась на смеси данных KSC2 и русскоязычного Common Voice: русская речь помогает распознавать заимствования и переключение между казахским и русским языками. Для текстов KSC2 применялась автоматическая обработка с восстановлением заглавных букв и пунктуации. На тестовой части KSC2 заявлен WER около 17,7%. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и опубликована в формате safetensors. Лицензия — Apache 2.0. Показатель WER относится к тесту KSC2; качество на других языках, аудиосредах и типах записей может отличаться.

vumichien/wav2vec2-large-xlsr-japanese — модель распознавания японской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice и корпуса JSUT лаборатории Saruwatari Токийского университета. Это акустическая модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 405,4 млн параметров; принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст на японском языке. Модель предназначена для автоматической расшифровки японской речи. В карточке приведены результаты на японской тестовой выборке Common Voice: WER 30,84% и CER 17,85%. Лицензия — Apache-2.0.

ghost613/whisper-large-v3-turbo-korean — дообученная модель Whisper Large V3 Turbo для автоматического распознавания корейской речи и преобразования её в текст. Она создана на основе openai/whisper-large-v3-turbo и обучена на корейском наборе данных Zeroth; в обучающей выборке было около 206 часов 43 минут аудио. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В README указаны итоговые показатели WER 4,90% на валидации и 4,89% на тесте, а CER — 1,78% и 2,06% соответственно. Автор отмечает, что обучение не сошлось и дальнейшее улучшение результатов возможно. Модель опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.

NavAI · whisper-medium-uzbek — модель автоматического распознавания узбекской речи, созданная NavAI дообучением openai/whisper-medium на 753 часах аудио с человеческими расшифровками. Архитектура WhisperForConditionalGeneration, формат Safetensors; метаданные каталога указывают 455,8 млн параметров. README также называет размер 769 млн, поэтому точный размер в источниках расходится. Модель предназначена для преобразования узбекской речи в текст. Она обучена на Common Voice, FLEURS и Uzbek Speech Corpus, а тестовые наборы исключены из обучения. Для лучшего распознавания рекомендуется явно задавать язык uz; типичный вывод — узбекский текст латинским письмом. Обработка выполняется окнами по 30 секунд, длинные записи разбиваются на фрагменты. В README приведены результаты оценки на четырёх отложенных узбекских тестовых наборах и описана единая методика декодирования и нормализации. Слабее обрабатываются редкие иностранные имена, шумная дальняя запись и выраженные диалекты. Лицензия модели — Apache-2.0; для данных Uzbek Speech Corpus требуется атрибуция по CC BY 4.0.

Whisper Small — модель OpenAI для автоматического распознавания речи, преобразованная в формат OpenVINO IR. Веса сжаты до INT8 с помощью NNCF; модель содержит около 153,1 млн параметров и предназначена для запуска через OpenVINO, Optimum Intel, OpenVINO GenAI или OpenVINO Model Server. Модель решает задачу преобразования англоязычной аудиозаписи в текст и подходит для транскрибации записей, голосовых сообщений и аудиопотоков. Поддерживается интеграция с CPU и совместимыми ускорителями OpenVINO, а также использование через OpenAI-совместимый API при развертывании в OpenVINO Model Server. Ключевые характеристики включают архитектуру Whisper Small, представление OpenVINO IR и асимметричное сжатие весов INT8 с размером группы 128. К преимуществам относятся уменьшенный размер весов и возможность эффективного инференса в экосистеме OpenVINO. Модель ориентирована на английский язык; ограничения исходной модели описаны в оригинальной карточке Whisper Small. Распространяется по лицензии Apache-2.0.

Модель ixxan/whisper-small-uyghur-thugy20 — дообученная версия Whisper Small, созданная на основе openai/whisper-small для распознавания уйгурской речи. Она принимает аудио и генерирует текстовую транскрипцию; обучение проводилось на наборе данных THUGY20, базе записей уйгурской речи. В карточке приведены результаты на тестовой выборке THUGY20: WER 17,94, нормализованный WER 18,09 и CER 4,93. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Распространяется по лицензии Apache-2.0.

bofenghuang/asr-wav2vec2-ctc-french — модель автоматического распознавания французской речи, созданная дообучением LeBenchmark/wav2vec2-FR-7K-large. Она использует архитектуру wav2vec2 с CTC-головой и содержит 402,7 млн параметров. Модель обучали на составном наборе данных объёмом более 2200 часов: Common Voice 11.0, Multilingual LibriSpeech, Voxpopuli, Multilingual TEDx, MediaSpeech и African Accented French. Модель предназначена для преобразования французской речи в текст, в том числе для транскрибации аудиозаписей и оценки качества распознавания на французских речевых корпусах. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст; поддерживаемый язык — французский. Модель распространяется в форматах PyTorch и Safetensors, для работы используется библиотека Transformers. Лицензия — Apache-2.0.

Японская модель автоматического распознавания речи Reazon Research на архитектуре wav2vec 2.0 Large, дообученная на крупномасштабном корпусе ReazonSpeech v2.0. Она преобразует японскую речь в текст и подходит для расшифровки коротких записей и длинных аудиоматериалов. В README приведены результаты по метрике CER: среднее значение составило 16,25% на указанных тестовых наборах, а на JSUT-BOOK для длинной речи — 30,98%. Метаданные указывают класс Wav2Vec2ForCTC, около 405,7 млн параметров и поддержку Transformers. Модель принимает аудио и выдаёт текст; заявленный язык — японский. Распространяется по лицензии Apache-2.0.

KB-Whisper Base — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) на основе OpenAI Whisper Base. Модель содержит 51,7 млн параметров и дообучена на шведской речи; в README указано более 50 000 часов аудиозаписей с текстовыми расшифровками. Метаданные указывают архитектуру Whisper и форматы ONNX и safetensors. Модель предназначена для транскрибирования шведской речи из аудио. По умолчанию используется вариант Stage 2; доступны версии с более сжатым стилем расшифровки Subtitle и более дословным Strict. В описанных тестах на FLEURS, CommonVoice и NST версия base показала WER 9,1, 8,7 и 7,8 соответственно. Модель лицензирована по Apache-2.0. README не сообщает об ограничениях на типы аудио или условиях качества записи.

Kotoba-Whisper v1.0 — японская модель автоматического распознавания речи, разработанная Asahi Ushio совместно с Kotoba Technologies. Это дистиллированная модель семейства Whisper: полный энкодер взят от Whisper large-v3, а двухслойный декодер инициализирован первым и последним слоями учительской модели. Модель содержит 905,2 млн параметров и предназначена для транскрибации японской речи; обучена на 1 253 часах аудио ReazonSpeech с частотой дискретизации 16 кГц. По заявлению авторов, она работает в 6,3 раза быстрее Whisper large-v3 при сопоставимой частоте ошибок. В тестах на ReazonSpeech v1.0 показала лучшие CER и WER, чем large-v3, а на CommonVoice 8 и JSUT Basic 5000 — конкурентные результаты. Репозиторий содержит веса Safetensors; модель поддерживается Transformers версии 4.39 и новее. Лицензия — Apache-2.0. Модель ориентирована на японскую речь и может уступать на других языках и за пределами распределения обучающих данных. Версия v2.0 новее; результаты качества зависят от набора данных и метрики.

LinTO STT French FastConformer — модель распознавания французской речи, разработанная LinAGORA и дообученная на базе NVIDIA FastConformer Hybrid Large. Она преобразует аудио в текст и подходит для пакетной и потоковой транскрибации, в том числе в составе сервиса LinTO STT. Модель содержит 115 млн параметров и обучена с использованием гибридных Transducer- и CTC-потерь; по умолчанию используется Transducer. Для обучения применено более 9500 часов французской речи: чтение, спонтанная речь, разговоры и встречи, различные акценты и условия записи. Модель выдаёт текст только строчными буквами, без пунктуации. Модель предназначена для транскрибации французской речи. Она может хуже распознавать редкую лексику, сильные акценты и речь нескольких людей, говорящих одновременно. Лицензия — CC-BY-4.0.

NB-Whisper Large — модель распознавания речи и перевода аудио, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Вариант Large содержит 905,2 млн параметров и предназначен прежде всего для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Для обучения серии использовались 8 млн выровненных аудиофрагментов общей длительностью около 66 тысяч часов; карточка указывает базовую модель openai/whisper-large-v3. Модель принимает аудио и выдаёт текстовую транскрипцию; поддерживает распознавание речи и перевод речи. Для длинных записей README рекомендует обработку фрагментами примерно по 28 секунд; увеличение beam size может повысить точность ценой скорости и памяти. Для эффективной работы версии Large рекомендуется GPU. Модель распространяется по лицензии Apache 2.0. Результаты могут содержать ошибки, повторы и искажения, а качество зависит от записи и языка. Разработчики отмечают возможные смещения и возлагают на пользователей ответственность за оценку рисков и корректное применение модели.

KBLab разработала wav2vec2-large-xlsr-53-swedish — модель распознавания шведской речи на основе архитектуры Wav2Vec2ForCTC с 402,7 млн параметров. Она дообучена на базе facebook/wav2vec2-large-xlsr-53: сначала на корпусе примерно из 1000 часов шведских радиопередач, затем на NST Swedish Dictation и Common Voice. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Модель предназначена для автоматической транскрибации шведской речи. В оценке на тестовой части Common Voice указаны WER 14,30% и CER 4,93%. Для более высокого качества авторы рекомендуют свою более новую модель wav2vec2-large-voxrex-swedish. Модель распространяется по лицензии Apache-2.0.

anuragshas/whisper-large-v2-bg — модель распознавания речи, дообученная на базе Whisper Large-v2 на болгарской части набора Mozilla Common Voice 11.0. Она преобразует болгарскую речь в текст и подходит для транскрибирования аудиозаписей. Архитектура — WhisperForConditionalGeneration, число параметров — около 905,2 млн; для обучения использована библиотека Transformers, веса представлены в формате PyTorch. На тестовой выборке указана WER 13,404 и loss 0,3208. Модель распространяется по лицензии Apache-2.0.

anuragshas/whisper-large-v2-bn — дообученная модель распознавания речи на основе Whisper Large-v2 от OpenAI. Она предназначена для преобразования аудио на бенгальском языке в текст и обучена на бенгальской части набора Mozilla Common Voice 11.0. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и представлена в формате PyTorch. В карточке указана оценка WER 11,1086 на тестовой выборке. Модель выпущена под лицензией Apache-2.0. Результаты на этой выборке не гарантируют сопоставимого качества для других условий записи, акцентов или языков.

Модель benmajor27/whisper-large-v3-hu_full — дообученная на Common Voice 17.0 версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в первую очередь ориентирована на венгерскую речь. Модель содержит около 905,2 млн параметров и опубликована в формате safetensors. В карточке приведён результат оценки на тестовом наборе: WER 8,8609 и loss 0,0911. Модель распространяется по лицензии Apache-2.0. Показатель качества относится к указанному набору оценки; README не описывает другие условия тестирования или ограничения применения.

OpenVINO/whisper-small.en-int8-ov — англоязычная модель автоматического распознавания речи на базе Whisper small, разработанного OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT8 с помощью NNCF; объём модели составляет около 153,1 млн параметров. Модель предназначена для преобразования английской речи в текст: расшифровки аудиозаписей, голосовых заметок, интервью и других источников аудио. Она поддерживает запуск через OpenVINO и Optimum Intel, включая инференс на CPU, и совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel версии 1.23.0 и выше. INT8-квантизация уменьшает размер весов и может сделать инференс более эффективным на совместимом оборудовании, однако модель рассчитана именно на английский язык. Использование распространяется по лицензии Apache-2.0.

Huihui-gemma-3n-E4B-it-abliterated-i1-GGUF — квантизированная GGUF-версия инструкционной мультимодальной модели Huihui-gemma-3n-E4B-it-abliterated, разработанной Huihui AI и подготовленной в виде квантизаций mradermacher. Модель предназначена для работы с текстом, аудио и видео, включая задачи автоматического распознавания речи, автоматического перевода речи и преобразования аудио или видео в текст. В метаданных указан английский язык. Модель относится к семейству Gemma 3n и имеет размер E4B; точная архитектура и размер контекстного окна в README не указаны. Доступны варианты GGUF с разными уровнями квантизации от i1-Q2_K до i1-Q6_K размером примерно от 4,0 до 5,8 ГБ. Более компактные варианты требуют меньше памяти, но могут уступать по качеству; README отдельно рекомендует i1-Q4_K_M как быстрый вариант и отмечает компромисс между размером, скоростью и качеством. К сильным сторонам относятся мультимодальность, поддержка аудио- и видеосценариев и возможность локального запуска через совместимое с GGUF программное обеспечение. Ограничениями являются зависимость качества от выбранной квантизации, отсутствие в README подробных оценок производительности и неизвестные параметры контекста. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

NB-Whisper Base — модель автоматического распознавания речи от NB AI-Lab Национальной библиотеки Норвегии. Она основана на openai/whisper-base и дообучена для работы с норвежской речью, включая букмол и нюнорск, а также с английским языком. В метаданных указано 51,7 млн параметров; карточка описывает семейство NB-Whisper и сообщает, что модели серии обучались на корпусе из 66 000 часов речи. Модель предназначена для расшифровки аудио и может использоваться для транскрипции длинных записей, получения временных меток слов и предложений, а также перевода речи на английский. Для длинного аудио карточка рекомендует обработку фрагментами; увеличение beam size может повысить точность ценой скорости и памяти. Модель доступна для использования через Transformers, также описана конверсия в формат Whisper.cpp. Лицензия — Apache 2.0. Распознавание других языков и качество на шумных или специализированных записях не подтверждены приведёнными данными.

PhoWhisper-medium — версия модели распознавания речи PhoWhisper, разработанная авторами Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это дообученная многоязычная Whisper с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров; модель принимает аудио и преобразует вьетнамскую речь в текст. Модель предназначена для автоматического распознавания вьетнамской речи с учётом разных акцентов. При дообучении использовался набор данных объёмом 844 часа; авторы сообщают о высоких результатах на тестах распознавания вьетнамской речи. Поддерживается задача automatic-speech-recognition, формат весов — PyTorch. Модель распространяется по лицензии BSD 3-Clause. Карточка не приводит сведений о длине контекста или известных ограничениях качества; результаты могут различаться в зависимости от акцента и условий записи.

Это преобразованная сообществом mlx-community модель Microsoft VibeVoice-ASR-Streaming-7B для потокового распознавания речи с привязкой реплик к говорящим. Модель принимает аудио и по мере его поступления выдаёт транскрипцию с указанием говорящего; отдельный этап диаризации не требуется. Поддерживаются 10 языков: английский, китайский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский. Для повышения точности распознавания заданных терминов предусмотрена настройка контекста ключевыми словами. Это плотная модель семейства VibeVoice в формате MLX и точности bfloat16; размер весов составляет 16,66 ГБ. По описанию, потоковая обработка использует чанки примерно по 2,93 секунды и упреждение около 0,53 секунды, поэтому минимальная задержка составляет примерно 3 секунды. На тесте AMI-IHM автор карточки приводит результаты для Apple M5 Max и отмечает, что точность эталонной реализации меняется между запусками. Модель распространяется по лицензии MIT. Для запуска нужны совместимые MLX и оборудование Apple Silicon; порт использует среднее распределения акустического VAE вместо случайной выборки эталонной реализации, а результаты 4-битной версии зависят от того, вычислялись ли масштабы квантования на CPU или GPU.

Модель infinitejoy/wav2vec2-large-xls-r-300m-bashkir — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания башкирской речи. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; при оценке на наборе Mozilla Common Voice 7.0 для башкирского языка указана WER 0,2421. Распространяется по лицензии Apache-2.0.

jonatasgrosman/wav2vec2-large-xlsr-53-french — модель распознавания французской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует аудиозаписи французской речи в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В карточке описана прямая расшифровка без языковой модели; также приведены сценарии оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2. Модель распространяется по лицензии Apache-2.0. Точность может зависеть от качества записи и отличий речи от данных Common Voice, на которых модель дообучалась.

wav2vec2-large-xlsr-53-icelandic-ep30-967h — акустическая модель для автоматического распознавания исландской речи. Её дообучила Language and Voice Laboratory при Университете Рейкьявика на базе facebook/wav2vec2-large-xlsr-53: обучение длилось 30 эпох на 967 часах исландских записей из корпуса Samrómur Milljón, собранного платформой Samrómur. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования исландской речи в текст, например для расшифровки записей. В README приведён результат тестирования 0,076, но метрика и протокол оценки не описаны, поэтому по этому числу нельзя однозначно судить о качестве. Модель распространяется по лицензии CC BY 4.0.

jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.

Whisper Hindi Large-v2 — версия Whisper Large-v2, дообученная на корпусах распознавания речи на хинди в рамках Whisper fine-tuning sprint. Модель на архитектуре Whisper содержит около 905,2 млн параметров и предназначена для преобразования аудиозаписей на хинди в текст. Она подходит для транскрибирования речи и оценки качества распознавания на тестовых наборах. Для обучения использовались GramVaani ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающая и валидационная части Google FLEURS. В README также указаны тестовые части GramVaani ASR Corpus и Google FLEURS для оценки. Доступны веса PyTorch и Flax; модель распространяется по лицензии Apache-2.0.

sarpba/whisper-hu-small-finetuned — дообученная модель OpenAI Whisper Small для автоматического распознавания речи. Она принимает аудио и преобразует его в текст, с особым упором на венгерский язык. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В README приведены результаты оценки на тестовом наборе: loss 0,02658 и WER 0,08494. Сведения о составе обучающего набора и ограничениях применения не раскрыты. Модель распространяется по лицензии Apache-2.0.

Whisper Kannada Medium — модель автоматического распознавания речи на основе Whisper Medium, дообученная на каннада-комплектах данных из нескольких общедоступных ASR-корпусов. Разработчик дообучил её в рамках спринта по адаптации Whisper; архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров. Модель предназначена для преобразования речи на каннада в текст. В обучении использованы корпуса IISc-MILE, ULCA, Shrutilipi и обучающая и валидационная части Google Fleurs; для оценки указаны тестовая часть Google Fleurs, IISc-MILE Test и OpenSLR. Доступны веса PyTorch и Flax. Модель распространяется по лицензии Apache-2.0. Карточка не приводит численных результатов качества, поэтому пригодность для конкретного аудио следует проверять на соответствующих данных.

Whisper small Fa — модель распознавания речи, созданная дообучением openai/whisper-small на датасете Mozilla Common Voice 17.0. Она предназначена для преобразования аудиозаписей на фарси в текст и подходит для транскрибирования речи в пользовательских записях и наборах данных. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В тестировании на карточке указаны наилучшие значения WER 0,419 и CER 0,196. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

facebook/mms-1b-l1107 — мультиязычная модель распознавания речи из проекта Massively Multilingual Speech (MMS), разработанного Vineel Pratap и коллегами. Она преобразует аудиозапись в текст и предназначена для автоматического распознавания речи на 1107 языках. Модель основана на архитектуре wav2vec 2.0 с выходной головой CTC и содержит около 1,3 млрд параметров. Репозиторий содержит веса PyTorch и Safetensors; в README указана частота дискретизации 16 кГц. Метаданные связывают модель с датасетом Google FLEURS. Модель охватывает большое число языков, включая языки с ограниченными ресурсами, что подходит для транскрибирования разнообразной речи. Качество для конкретного языка и аудиозаписи может различаться; поддержка языка не гарантирует одинаковую точность для всех диалектов и условий записи. Лицензия CC-BY-NC 4.0 допускает использование с атрибуцией, но запрещает коммерческое применение.