I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейGranite Speech 4.1-2B-Plus GGUF — это квантизированная версия мультимодальной модели IBM Granite Speech 4.1-2B-Plus, подготовленная сообществом handy-computer для работы в transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с поддержкой английского, французского, немецкого, испанского и португальского языков. Она принимает монофонический WAV с частотой 16 кГц и поддерживает выдачу временных меток для каждого слова или разметку текста по говорящим. Архитектура включает Conformer-энкодер, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1B. В варианте Plus используются объединённые скрытые состояния промежуточного и финального слоёв энкодера, а эмбеддинги токенов связаны с выходной головкой языка. Доступны варианты GGUF от BF16 и F16 до Q4_K_M размером примерно от 1,49 до 4,23 ГБ. На тесте LibriSpeech test-clean заявленный WER составляет 1,46–1,56% в зависимости от квантизации; для языков FLEURS WER в варианте Q8_0 составляет 4,46% для английского, 8,06% для немецкого, 6,53% для испанского, 8,82% для французского и 10,61% для португальского. Сильные стороны модели — локальная работа без облачных сервисов, многоязычное распознавание, словесные временные метки и диаризация. Ограничения: потоковая обработка и автоматическое определение языка не поддерживаются, перевод речи отсутствует, а режимы временных меток и диаризации нельзя использовать одновременно. Для работы требуется transcribe.cpp и аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Модель Vkt/model-960hfacebook-2022.06.08 — версия Wav2Vec2, дообученная на наборе Common Voice на базе facebook/wav2vec2-large-960h-lv60-self. Она предназначена для автоматического распознавания речи: принимает аудио и преобразует его в текст. В карточке приведены результаты на оценочном наборе: loss 0,2907 и WER 0,1804. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. Лицензия — Apache-2.0. Карточка не уточняет языки распознавания и практические ограничения модели.
Moonshine Base — компактная модель автоматического распознавания речи, разработанная Useful Sensors. Это последовательностная модель типа encoder-decoder с 61 млн параметров, предназначенная для транскрибирования английской речи в английский текст. Она рассчитана на разработчиков, которым нужно развернуть распознавание речи в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами; поддержка Transformers упрощает использование в соответствующих приложениях. Модель принимает аудио и выдаёт текст, обучена на 200 000 часах аудио с расшифровками и лицензирована по MIT. По оценке разработчиков, Moonshine показывает более высокую точность на стандартных наборах данных, чем сопоставимые по размеру системы распознавания речи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты текста; эти проблемы могут быть заметнее на коротких записях и аудио с обрезанными словами. Она предназначена для транскрибирования английской речи, а не для вывода субъективных характеристик говорящего или принятия высокорисковых решений. Перед применением в конкретной области требуется отдельная оценка качества.
Карточка модели OpenMOSS-Team/MOSS-Audio-4B-Thinking на Hugging Face совпадает с карточкой OpenMOSS-Team/MOSS-Audio-4B-Instruct, поэтому описание составлено по ней. MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.
OpenASR/moss-transcribe-diarize — модель MOSS-Transcribe-Diarize, разработанная командой OpenMOSS-Team и адаптированная OpenASR для локального запуска. Она объединяет автоматическое распознавание речи и диаризацию говорящих в одном проходе: формирует расшифровку, определяет говорящих и указывает временные интервалы их реплик. Модель предназначена для обработки аудиозаписей встреч, интервью, разговоров и других многоголосых сценариев, где важно понимать, кто и когда говорил. Модель содержит около 0,9 млрд параметров. Её архитектура сочетает аудиоэнкодер масштаба Whisper Medium, адаптер на базе MLP и LayerNorm и декодер масштаба Qwen3-0.6B. Основной фокус — китайский и английский языки; также заявлена поддержка ещё более 15 языков. Контекстное окно в README не указано. Для OpenASR доступны варианты fp16, q8_0 и q4_k в формате .oasr, позволяющие выбирать между качеством, размером и требованиями к памяти. Заявлены показатели 2,52% CER для китайского и 2,23% WER для английского на фиксированных оценочных наборах OpenASR. К сильным сторонам относятся совместная транскрипция и диаризация без отдельного конвейера, локальная работа на CPU и GPU без Python во время инференса и несколько уровней квантования. Ограничения включают отсутствие подробных данных о качестве на других языках и неуказанный контекст; приведённые метрики не следует автоматически распространять на любые аудиозаписи. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.
mudler/parakeet-cpp-gguf — набор моделей автоматического распознавания речи в формате GGUF для C++/ggml-библиотеки parakeet.cpp. Репозиторий поддерживает конвертированные модели NVIDIA NeMo Parakeet и предназначен для локального запуска ASR на CPU, включая сценарии офлайн-распознавания и потоковой транскрипции. Указано, что результаты на CPU сопоставимы с исходными моделями PyTorch. В набор входят варианты размером от 110M до 1.1B параметров с архитектурой FastConformer и головами CTC, RNNT, TDT либо гибридом TDT+CTC. Для realtime_eou_120m-v1 заявлена потоковая cache-aware RNNT-архитектура с поддержкой EOU/EOB. Доступны варианты F16, Q8_0, Q6_K, Q5_K и Q4_K; F16 рекомендован как обеспечивающий точность F32 при меньшем размере и обычно наиболее высокую скорость на современных CPU. Размер файлов зависит от модели и квантизации: примерно от 129 МБ до 2,4 ГБ. Языки, максимальная длина контекста и точный набор поддерживаемых аудиоформатов в README не указаны. Сильными сторонами являются широкий выбор архитектур и уровней квантизации, возможность запуска через C++/ggml и наличие моделей для потокового распознавания. Для ряда F16, Q8_0 и Q4_K указано нулевое различие WER по сравнению с NeMo в приведённом сравнении, однако для других вариантов измерения не проводились. Лицензия набора — CC BY 4.0.
Moondream Parakeet Redux — компактная модель автоматического распознавания речи, созданная на основе Parakeet-TDT-0.6B-v3 от NVIDIA. Она сохраняет исходную архитектуру и токенизатор, но веса энкодера представлены значениями −1, 0 и +1 (1,58 бита); размер весов — 178 МБ. Для запуска README рекомендует Photon, который использует AVX-512 VNNI на x86, NEON на ARM и Metal на Apple-устройствах. Модель предназначена для преобразования речи в текст, включая многоязычные записи и длинные аудио. Встроенная голова определения речевой активности помогает Photon разделять длинные записи на фрагменты до 30 секунд. В опубликованных сравнениях Redux близка к исходной модели на английском, показывает лучшие результаты на FLEURS и длинных выступлениях, но сильнее теряет точность при фоновом шуме. Заявленные скорости зависят от оборудования и среды Photon. В карточке указана лицензия CC-BY-4.0. Модель поддерживает 25 языков, включая русский; метаданные перечисляют языковые коды для 23 из них.
Это 6-битная MLX-квантизованная версия англоязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v2, подготовленная Spoke для локальной диктовки. Модель преобразует аудио в текст и предназначена для транскрибации речи; в тесте LibriSpeech test-clean на 250 примерах на M4 указана WER 1,87%, такая же, как у версии bf16. Квантизация затрагивает слои nn.Linear и nn.Embedding с размером группы 64; Conv1d, BatchNorm и LSTM предсказателя TDT остаются в bf16. В README также указаны скорость обработки 0,022 RTF и пиковое потребление памяти MLX 1,13 ГБ. Для загрузки нужно сначала квантизовать дерево модулей, поэтому стандартный вызов parakeet_mlx.from_pretrained сам по себе не загрузит этот чекпойнт. Лицензия — CC BY 4.0.
Это версия модели NVIDIA Parakeet-TDT-0.6B-v3, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель основана на архитектуре FastConformer с Transducer-подходом и предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Размер модели — около 0,6 млрд параметров; репозиторий содержит веса Safetensors и распространяется по лицензии CC BY 4.0. Модель поддерживает распознавание речи на нескольких европейских языках, включая английский, испанский, французский, немецкий, русский и другие. Её можно применять для транскрибации аудиозаписей и диктовки; для запуска доступны библиотеки parakeet-mlx и mlx-audio. Это конвертированная версия исходной модели NVIDIA, поэтому её характеристики распознавания определяются базовой моделью, а совместимость и производительность зависят от MLX и оборудования Apple.
Parakeet TDT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст, записанный строчными буквами, и рассчитана на транскрибирование отдельных аудиозаписей и пакетную обработку файлов. Модель построена на архитектуре FastConformer-TDT и содержит около 1,1 млрд параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт текстовую строку. Предсказание длительности токенов в TDT позволяет пропускать часть пустых кадров и ускорять инференс. Модель обучали на 64 тысячах часов английской речи из частных и открытых наборов данных. В опубликованных результатах приведены показатели WER для нескольких тестовых наборов; например, 1,39% на LibriSpeech test-clean при жадном декодировании без внешней языковой модели. Модель доступна через NVIDIA NeMo для инференса и дообучения. Лицензия — CC BY 4.0.
Pathumma-whisper-th-medium — модель распознавания речи команды Pathumma Audio Team, дообученная на основе openai/whisper-medium. Она предназначена для преобразования аудиозаписей в текст и запускается через библиотеку Transformers. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. В метаданных указаны тайский и английский языки; отдельные сценарии применения и результаты оценки в карточке не описаны. Лицензия — Apache-2.0.
handy-computer/Qwen3-ASR-1.7B-gguf — это набор GGUF-конвертаций модели Qwen3-ASR-1.7B, разработанный handy-computer на основе базовой модели Qwen/Qwen3-ASR-1.7B для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с автоматическим определением языка. Она принимает монофонический WAV с частотой 16 кГц; потоковая обработка, перевод речи и временные метки не поддерживаются, а явная подсказка языка пока недоступна. Архитектура сочетает двунаправленный аудиоэнкодер с причинной языковой моделью Qwen3 и внедрением аудиотокенов. В версии 1.7B аудиоэнкодер имеет d_model=1024 и 16 голов внимания, а языковая модель — hidden_size=2048 и intermediate_size=6144. Заявлена поддержка 30 языков в данной конвертации, включая русский, английский, китайский, японский, корейский, немецкий, французский, испанский и другие. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,32 до 4,09 ГБ. Сильные стороны модели — офлайн-работа, мультиязычность и высокая точность: для LibriSpeech test-clean указанный WER составляет 1,62% у BF16, F16 и Q8_0, 1,65% у Q6_K и Q5_K_M и 1,81% у Q4_K_M. Квантованные варианты позволяют снизить требования к памяти при небольшом ухудшении результата. Ограничения включают отсутствие streaming, перевода и временных меток, необходимость предварительного приведения аудио к формату 16 кГц mono WAV, а также различия качества между языками. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Модель nrshoudi/speech_ocean_wav2vec_mdd разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для автоматического распознавания речи. Это аудиомодель архитектуры Wav2Vec2 с примерно 402,8 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки: WER 0,0863, CER 0,0692 и loss 0,3663. Данные обучения и языки распознавания не описаны, поэтому применимость к конкретным языкам и условиям записи по карточке установить нельзя.
ssc-top-mms-model-mix-adapt-max — дообученная модель распознавания речи на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и принимает аудио, преобразуя речь в текст. В карточке приведены результаты оценки: loss 0,7289, CER 0,1445 и WER 0,5792; набор данных и условия оценки не описаны. Базовая MMS поддерживает более тысячи языков, однако языки и сценарии, на которых проверялась эта дообученная версия, не уточнены. Модель содержит 1,3 млрд параметров, работает через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
bengaliAI/tugstugi_bengaliai-asr_whisper-medium — модель распознавания речи, опубликованная Bengali.AI. Она предназначена для преобразования аудиозаписей в текст и доступна для запуска через Transformers как задача automatic-speech-recognition. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит около 455,8 млн параметров. В репозитории указана лицензия Apache-2.0. Карточка модели практически не содержит описания обучения и результатов, поэтому нельзя подтвердить её качество на конкретных вариантах бенгальского языка или других языках. Конфигурация ограничивает декодирование 448 токенами; модель принимает аудио и выдаёт текст.
VoiceCLAP-Commercial (small) — модель LAION для сопоставления речи и текстовых описаний по контрастивным эмбеддингам, предназначенная для поиска эмоций и манеры речи. Она дообучена на базе laion/voiceclap-small и обучена только на данных, допускающих коммерческое использование; указана лицензия CC BY 4.0. Модель использует двухбашенную архитектуру CLAP: аудиокодировщик BUD-E-Whisper-Small обрабатывает звук с частотой 16 кГц, а текстовый кодировщик all-MiniLM-L6-v2 — описания. Обе башни формируют нормализованные совместные эмбеддинги размерности 768. Дополнительный компонент с 39 обучаемыми прототипами эмоций усиливает представление эмоциональных признаков. Поддерживаемые языки: английский, немецкий, французский, испанский и китайский. Модель подходит для извлечения признаков и поиска аудиофрагментов по текстовым описаниям эмоций или стиля речи. В сравнительных экспериментах она показала лучшие результаты, чем вариант, обученный также на данных с ограничением на некоммерческое использование, по четырём из пяти метрик; результаты экспериментов следует считать сравнительными, а не максимальными. Карточка не приводит отдельных ограничений качества за пределами этих результатов.
Это модель автоматического распознавания речи на турецком языке, созданная дообучением ylacombe/w2v-bert-2.0 на наборе данных Common Voice 16.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и принимает аудио, преобразуя его в текст. В оценке на тестовой выборке указаны loss 0,1441 и WER 0,1373. Модель подходит для транскрибирования турецкой речи, например записей и аудиофрагментов. Размер — около 402,7 млн параметров; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.
GodwillN/w2vbert-waxal — дообученная модель распознавания речи на архитектуре Wav2Vec2-BERT, основанная на facebook/w2v-bert-2.0. Она принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. Модель распространяется в формате Safetensors по лицензии MIT. В README приведены результаты оценки: WER 0,4034, CER 0,2183 и loss 0,8908. Датасет обучения, поддерживаемые языки и предполагаемые сценарии использования не описаны, поэтому качество распознавания для конкретного языка или типа аудио по этим данным определить нельзя.
emon1521/wav2vec2-base — дообученная модель распознавания речи на архитектуре Wav2Vec2 с примерно 113,3 млн параметров. Она принимает аудио и предназначена для преобразования речи в текст. В карточке указана оценка WER 1,0 на тестовом наборе; обучающий датасет обозначен как None, поэтому оценить качество на конкретных языках и типах речи по этим сведениям нельзя. Модель опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит подробностей об используемых языках, условиях обучения или рекомендуемых сценариях применения.
wav2vec2-final-1-lm-1 — модель распознавания речи на базе Wav2Vec2, дообученная автором репозитория chrisvinsen на основе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; предназначена для преобразования аудиоречи в текст. В README приведены значения WER 0,283 и WER 0,129 с 2-грамотной языковой моделью, а также результаты оценки: loss 0,6305 и WER 0,4499. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. Данные не позволяют установить обучающий датасет и поддерживаемый язык, поэтому область применения по языку не уточняется. Распространяется по лицензии Apache-2.0.
Это модель автоматического распознавания речи на азербайджанском языке, созданная дообучением многоязычной wav2vec2-модели facebook/mms-1b-all на наборе Common Voice 15.0. Архитектура — Wav2Vec2ForCTC; модель содержит около 1,3 млрд параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для транскрибации азербайджанской речи, в том числе записей, похожих на аудио из Common Voice. На оценочной выборке указаны loss 0,3188 и WER 0,2632; результаты на других типах записей могут отличаться. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.
jonatasgrosman/wav2vec2-large-xlsr-53-dutch — модель распознавания нидерландской речи, разработанная Jonatas Grosman. Это дообученная на нидерландском языке версия facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1 и CSS10. Модель использует архитектуру wav2vec2 с CTC-декодером и содержит 402,7 млн параметров. Модель преобразует входящую речь в текст и подходит для транскрибации записей на нидерландском языке. Для подачи аудио требуется частота дискретизации 16 кГц. В карточке приведены оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2/dev_data. Модель распространяется по лицензии Apache-2.0. Карточка не описывает языковую модель для декодирования; пример использования предусматривает распознавание без неё.
cstr/wav2vec2-large-xlsr-53-english-GGUF — это модель автоматического распознавания английской речи, преобразованная из jonatasgrosman/wav2vec2-large-xlsr-53-english в формат GGUF. В основе лежит архитектура Wav2Vec2 с CNN-экстрактором признаков и 24 Transformer-слоями; модель предварительно обучалась на 53 языках в рамках XLSR-53, а затем дообучалась на англоязычных данных Common Voice с CTC-головой. Разработчик исходной модели — jonatasgrosman, конверсия в GGUF выполнена для использования с CrispASR. Модель предназначена для транскрибирования английской речи из монофонических аудиозаписей с частотой дискретизации 16 кГц и выдаёт посимвольные транскрипции. Она содержит 1024-мерное скрытое представление, 16 attention-голов и CTC-словарь из 33 токенов. Веса представлены в формате GGUF с точностью F16, размер файла составляет около 627 МБ, что упрощает применение в совместимых локальных инструментах, включая CrispASR. Сильными сторонами являются специализация на английской речи и поддержка эффективного формата GGUF; ограничения включают работу только с английским языком и необходимость подавать аудио в требуемом формате. Модель распространяется по лицензии Apache-2.0.
Wav2vec 2.0 With Open Brazilian Portuguese Datasets v2 — модель распознавания речи на базе Wav2Vec2, дообученная автором lgris для бразильского варианта португальского языка. Чекпойнт содержит 402,7 млн параметров и предназначен для преобразования аудиозаписей речи в текст. Для обучения объединили корпуса CETUC, Multilingual Librispeech, VoxForge, Common Voice 6.1 и Lapsbm; исходная модель дообучалась с помощью fairseq, а веса для этой версии конвертированы из исходного формата. В README приведены результаты WER 10,69% на тестовой выборке Common Voice и 34,53% на аудио TEDx вне обучающего домена. Автор отмечает возможное пересечение дикторов между обучающей и тестовой выборками Common Voice, поэтому первый результат может быть завышен; на записи вне домена качество заметно ниже. Модель распространяется по лицензии Apache-2.0.
arampacha/wav2vec2-large-xlsr-ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке. Она основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; доступны веса PyTorch и Flax. Для обучения использовались Common Voice и часть корпуса M-AILABS Ukrainian Corpus. Модель преобразует украинскую речь в текст и рассчитана на оценку и распознавание аудиозаписей. Входное аудио должно иметь частоту дискретизации 16 кГц; распознавание возможно без отдельной языковой модели. В карточке приведён результат оценки 29,89 на украинской тестовой выборке Common Voice, но метрика не уточнена. Модель распространяется по лицензии Apache-2.0.
jonatasgrosman/wav2vec2-xls-r-1b-english — модель распознавания английской речи, дообученная автором карточки с помощью HuggingSound на базе facebook/wav2vec2-xls-r-1b. Она преобразует аудиозапись в текст и подходит для транскрибирования речи, в том числе записей из наборов Common Voice, Multilingual LibriSpeech, TED-LIUMv3 и VoxPopuli. Архитектура — Wav2Vec2ForCTC семейства wav2vec2; число параметров — 1,3 млрд. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст, поддерживаемый язык — английский. Распространяется в формате PyTorch по лицензии Apache-2.0.
Это модель автоматического распознавания речи на архитектуре wav2vec2 с 402,7 млн параметров, разработанная как дообученная версия facebook/wav2vec2-xlsr-53-espeak-cv-ft. Она принимает аудио и преобразует речь в текст. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи. Модель дообучена на датасете audiofolder. README не содержит подробностей о составе данных, поддерживаемых языках, оценке качества или рекомендуемых условиях применения. Лицензия — Apache 2.0.
WAXAL-orm_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и содержит 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст; README сообщает оценку CER 0,1687 и loss 0,8218 на тестовом наборе. Модель опубликована в формате safetensors и рассчитана на использование с библиотекой Transformers. В карточке указана лицензия MIT. Язык распознавания, набор данных и подробные ограничения в доступных материалах не раскрыты.
Whisper Dutch - RTL — модель распознавания речи на нидерландском языке, созданная дообучением openai/whisper-small на наборе Common Voice 11.0. Она принимает аудио и преобразует речь в текст; архитектура основана на Whisper и содержит 153,1 млн параметров. На оценочной выборке указаны Loss 0,1895 и WER 24,9245. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
zuazo/whisper-large-v2-es — дообученная модель распознавания речи на базе openai/whisper-large-v2, опубликованная пользователем zuazo. Она адаптирована для транскрибации испанской речи на наборе mozilla-foundation/common_voice_13_0. Архитектура — WhisperForConditionalGeneration; модель содержит 905,2 млн параметров и принимает аудио, выдавая текст. В оценке на тестовом наборе указаны WER 4,8949 и loss 0,2544. Модель подходит для преобразования записанной испанской речи в текст. Карточка не описывает дополнительные сценарии или ограничения качества. Лицензия Apache-2.0 разрешает использование, изменение и распространение с указанием авторов.