I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейМодель IonGrozea/whisper-base_ro-80mel — версия OpenAI Whisper Base, дообученная на объединённом корпусе румынской речи объёмом около 445 часов. Она предназначена для автоматического распознавания речи и преобразования аудио в текст на румынском языке. Модель использует архитектуру Whisper и 80-канальные мел-спектрограммы; содержит 51,7 млн параметров. Валидация на 25 348 примерах общей длительностью 52,75 часа показала WER 0,1483 и CER 0,048 при декодировании с beam=5. В качестве обучающих данных указаны Echo, VoxPopuli и RODigits. Модель распространяется по лицензии Apache-2.0.
Sagicc/whisper-large-v3-sr-combined — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сербском языке; при дообучении использовались наборы Mozilla Common Voice 13 и Google Fleurs. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. В README приведены результаты оценки: WER 0,0556 и орфографический WER 0,1635. Карточка рекомендует обновлённую версию Sagicc/whisper-large-v3-sr-cmb, обученную на более чем 50 часах дополнительных данных. Модель распространяется по лицензии Apache-2.0. Результаты распознавания могут зависеть от качества записи, акцента и соответствия аудио обучающим данным.
jstoone/whisper-medium-da — дообученная модель распознавания датской речи, созданная на основе openai/whisper-medium. Это модель архитектуры Whisper с 455,8 млн параметров; она принимает аудио и преобразует речь в текст. Дообучение проводилось на датских данных Common Voice 11.0 и FLEURS. На указанном наборе оценки модель показала WER 13,7086 и loss 0,5814. Модель предназначена для автоматической расшифровки датской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к различным акцентам и шуму или ограничения качества за пределами приведённой оценки.
IonGrozea/whisper-small_ro-80mel — модель распознавания румынской речи, созданная дообучением openai/whisper-small на объединённом корпусе румынских аудиозаписей объёмом около 445 часов. Модель Whisper содержит 153,1 млн параметров и принимает аудио в виде мел-спектрограмм с 80 полосами; на выходе формирует текстовую транскрипцию. В метаданных указана поддержка румынского языка и лицензия Apache 2.0. Модель предназначена для транскрибирования румынской речи. В README сообщается о WER 0,0925 и CER 0,0293 на валидационной выборке из 25 348 примеров, оценённой с beam=5. Эти результаты относятся к описанному протоколу оценки; качество на других наборах данных и акустических условиях может отличаться.
ARK-ASR-0.6B — многоязычная модель распознавания речи от Edge0, обученная по рецепту адаптации на данных учителя и онлайн-дистилляции политики из проекта open-audio-opd. Она преобразует аудио в текстовые транскрипты и подходит для расшифровки записей и потоковой речи на поддерживаемых языках. Архитектура включает декодерный Transformer с 504,7 млн параметров, отдельный аудиоэнкодер в стиле Whisper и MLP-адаптер; аудиопризнаки передаются декодеру для авторегрессионной генерации текста. Указанный в метаданных контекст — 32 768 токенов. Модель принимает аудио с частотой дискретизации 16 кГц и распознаёт китайский, английский, немецкий, японский, французский, корейский, испанский, польский, итальянский, румынский, венгерский, чешский, нидерландский, финский, хорватский, словацкий, словенский, эстонский и литовский языки. В опубликованных оценках модель показывает качество, сопоставимое с Qwen3-ASR-0.6B на английских и китайских наборах, хотя результаты зависят от языка и набора данных. Для запуска рекомендуется официальный скрипт проекта с обработчиком аудио и настройкой trust_remote_code=True. Модель опубликована в формате safetensors под лицензией Apache-2.0.
Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.
Карточка модели framadhita/INT8-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.
Atotti разработала llm-jp-4-8b-speech-asr — модель семейства LLM-jp-4, специализированную для автоматического распознавания речи. Она принимает аудио и генерирует текстовую расшифровку; для запроса на японском рекомендуется инструкция «音声を書き起こしてください。」. Архитектура — плотная LlamaForSpeechLM; модель объединяет компоненты LLM-jp-4 и Whisper large-v3 и использует формат safetensors. Основной язык — японский, также в метаданных указаны японский и английский. Модель подходит для транскрибации японской речи. Карточка предупреждает, что качество может снижаться на шумной записи, длинных аудио и спонтанной речи, а расшифровки могут содержать ошибки. Лицензия — Apache-2.0.
facebook/mms-1b-all — многоязычная модель автоматического распознавания речи, разработанная Vineel Pratap и соавторами в рамках проекта MMS. Она построена на архитектуре wav2vec2 с CTC-выходом и содержит около 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указана поддержка 1162 языков, а частота дискретизации аудио составляет 16 кГц. Модель предназначена для транскрибации речи на большом числе языков, в том числе малоресурсных, например для расшифровки записей и создания многоязычных систем распознавания речи. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия CC-BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование. Качество распознавания может различаться в зависимости от языка, диалекта и условий записи.
NB-Whisper Small — модель распознавания речи семейства Whisper, разработанная NB AI-Lab Национальной библиотекой Норвегии и дообученная на основе openai/whisper-small. Она предназначена прежде всего для транскрибирования норвежской речи, включая букмол и нюношк, а также поддерживает английский язык. Модель содержит 153,1 млн параметров и работает с аудио; для использования доступны реализации в форматах PyTorch, Safetensors, ONNX и Flax. Модель обучалась на 66 тысячах часов аудиозаписей и рассчитана на автоматическое преобразование речи в текст. Её можно запускать локально через Transformers; версия Small оптимизирована для работы на CPU. Для длинных записей README рекомендует обрабатывать аудио фрагментами, а увеличение beam size может повысить точность ценой скорости и памяти. Модель выпущена как кандидат на релиз, поэтому результаты и готовность следует оценивать с учётом её предварительного статуса. Лицензия — Apache 2.0. Распознавание может содержать ошибки и предвзятости; для длинного аудио нужны подходящие настройки разбиения на фрагменты. В README также описан перевод речи на английский, но основной pipeline-тег модели — распознавание речи.
Карточка модели FILM6912/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.
ziywang50/omniASR-LLM-300M — совместимая с Hugging Face копия модели omniASR-LLM-300M от Meta AI, подготовленная для интеграции с vLLM. Согласно карточке, веса совпадают с оригиналом; изменена упаковка: добавлены конфигурация модели и токенизатора, а также таблица языковых идентификаторов. Модель предназначена для автоматического распознавания речи и поддерживает более 1600 языков. Она принимает аудио и преобразует речь в текст. Репозиторий содержит веса в формате safetensors; в README приведён запуск через vLLM. Модель относится к семейству OmniASR-LLM, архитектура — плотная условная генерация. Лицензия Apache 2.0. В README не указаны точный размер именно этой версии и длина контекста. Для обработки аудио в исходной инструкции также упоминается необходимость libsndfile при использовании справочного пайплайна; требования vLLM могут отличаться.
Карточка модели framadhita/Q4_0-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.
Модель lgris/sew-tiny-portuguese-cv8 разработана lgris и представляет собой дообученную версию lgris/sew-tiny-pt для автоматического распознавания речи. Она использует архитектуру SEW с CTC-декодированием и содержит 50,4 млн параметров. Модель обучалась на Common Voice 8.0 и предназначена для преобразования португальской речи в текст. На оценочной выборке указаны loss 0,4082 и WER 0,3053. Модель принимает аудио и выдаёт текст; опубликованные веса имеют формат PyTorch. Лицензия — Apache-2.0.
NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.
Модель suzii/vi-whisper-large-v3-turbo — дообученная разработчиком suzii версия Whisper large-v3-turbo для распознавания вьетнамской речи. Она принимает аудио и преобразует его в текст; обучение продолжалось 240 часов на одной видеокарте Nvidia A6000 с использованием нескольких корпусов вьетнамской речи. Архитектура — WhisperForConditionalGeneration, около 905,2 млн параметров; доступны веса в форматах Safetensors и ONNX, модель рассчитана на работу через Transformers. Модель предназначена для транскрибирования вьетнамской речи, в том числе аудиозаписей, разговоров, видеороликов и аудиокниг. Её языковая специализация и дообучение на вьетнамских корпусах ориентированы на улучшение распознавания этого языка относительно исходной мультиязычной модели. Лицензия в предоставленных данных не указана.
Модель oliverguhr/wav2vec2-base-german-cv9 — акустическая модель распознавания немецкой речи, разработанная на основе facebook/wav2vec2-base и дообученная на немецкой части набора Mozilla Common Voice 9.0. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 113,3 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для преобразования аудиозаписей немецкой речи в текст. На оценочной выборке указаны loss 0,1742 и WER 0,1209. Лицензия — MIT. Карточка не описывает условия записи аудио и возможные различия качества для акцентов, шумных записей и других условий, поэтому результаты могут отличаться на данных вне обучающего набора.
Это модель автоматического распознавания речи на базе XLS-R 1B, дообученная Jonatas Grosman для транскрибации французской речи. Дообучение проведено с помощью HuggingSound на обучающих и валидационных данных Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и Voxpopuli. Архитектура — Wav2Vec2ForCTC; модель содержит 1,3 млрд параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования французской речи в текст, в том числе для расшифровки записей и аудиоматериалов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях точности или о поддержке других языков.
OllmOne/whisper-large-v3-GGUF — это GGUF-версия модели Whisper large-v3, разработанной OpenAI и опубликованной пользователем OllmOne на Hugging Face. Модель предназначена для автоматического распознавания речи и перевода речи на английский язык; она обрабатывает аудио и генерирует текст. В карточке Hugging Face указаны задача automatic-speech-recognition, библиотека Transformers, формат GGUF, около 905,2 млн параметров и лицензия Apache-2.0. Whisper использует архитектуру encoder-decoder Transformer и обучен для многоязычного распознавания речи, речевого перевода и определения языка. Large-v3 отличается устойчивостью к акцентам, фоновой шумовой обстановке и технической лексике, а также улучшенной точностью по сравнению с large-v2. Модель требует проверки на конкретных данных перед промышленным использованием; возможны ошибки распознавания, особенно при низком качестве аудио, перекрывающейся речи или нестандартных условиях записи.
Whisper Large V3 Russian Podlodka — модель распознавания русской речи, дообученная авторами репозитория на базе Whisper Large V3. Она предназначена для транскрибации длинных аудиозаписей, в частности лекций и интервью, и используется как финальный компонент системы Pisets для подготовки расшифровок. В описанной системе распознавание дополняют сегментация речи с помощью Wav2Vec2 и фильтрация неречевых фрагментов с помощью Audio Spectrogram Transformer. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и работает с аудио на входе, выдавая текст. В карточке перечислены обучающие наборы Taiga Speech v2, Podlodka Speech и RuLibriSpeech. Модель опубликована в форматах PyTorch и Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит численных результатов оценки качества, поэтому преимущество модели для конкретных условий записи по ней количественно оценить нельзя.
royshilkrot/whisper-large-v3-turbo-korean-ggml — дообученная модель распознавания речи на основе OpenAI Whisper Large v3 Turbo, созданная для транскрибирования корейской речи. Обучение проводилось на двух корейских наборах данных общим объёмом около 102 тысяч предложений; в карточке сообщается, что последний чекпойнт достиг примерно 16 WER против примерно 24 WER ранее. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; карточка указывает корейский язык. Указанная лицензия — Apache 2.0. README называет модель GGML, однако метаданные репозитория указывают формат файлов safetensors.
Whisper-large-v3-turbo Russian Stage AW — это дообученная Coriollon модель распознавания речи на базе openai/whisper-large-v3-turbo. Она специализируется на русском языке, сохраняя поддержку английского, и предназначена для преобразования аудио в текст с пунктуацией и заглавными буквами. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель особенно нацелена на длинные разговорные фрагменты: дообучение уменьшает потерю пунктуации во второй половине длинных реплик и встреч. Для Stage AW указаны совокупный WER 9,07% и рост плотности пунктуации в длинных репликах примерно в 2,7–2,9 раза относительно предыдущей версии. Репозиторий также содержит вариант faster-whisper с квантизацией int8 и вычислениями fp16. Модель распространяется по лицензии Apache-2.0. Ограничения: на короткой чистой речи качество пунктуации может быть ниже, чем у предыдущей версии, а на очень коротких фрагментах короче трёх секунд возможна избыточная пунктуация. Качество распознавания английской речи унаследовано от предыдущей версии и уступает исходной Whisper Turbo.
Это перепакованная для vLLM модель распознавания речи reson8/canary-1b-v2-vllm на основе NVIDIA Canary-1B-v2. Репозиторий содержит веса исходной модели в формате safetensors, приведённые к bfloat16, и конфигурацию для загрузки через архитектуру cohere_asr в vLLM 0.19.0. Архитектура включает энкодер Conformer и 8-слойный декодер Transformer; в README указано около 1 млрд параметров, тогда как метаданные репозитория содержат значение 151 млн. Модель предназначена для транскрибации речи и развёртывания за OpenAI-совместимым API vLLM, включая endpoint /v1/audio/transcriptions. Базовая Canary-1B-v2 поддерживает распознавание на 25 европейских языках и перевод речи между английским и другими языками из этого набора; конкретно для этой перепаковки метаданные перечисляют 21 язык. Лицензия — CC BY 4.0, унаследованная от исходного релиза NVIDIA. Это преобразованная упаковка исходных весов, а не новая обученная модель. Репозиторий не загружается напрямую через Transformers AutoModelForSpeechSeq2Seq: для него нужны веса с исходными ключами NeMo и совместимая реализация vLLM. Поведение, точность и ограничения наследуются от NVIDIA Canary-1B-v2.
KB-Whisper Tiny — модель распознавания речи, выпущенная Национальной библиотекой Швеции (KBLab) как часть семейства Whisper. Это дообученная версия OpenAI Whisper Tiny с архитектурой Whisper; в метаданных указано 29,4 млн параметров. Модель принимает аудио и преобразует шведскую речь в текст. Она обучена на более чем 50 000 часах шведской аудиозаписи с транскрипциями и предназначена для распознавания речи в аудиозаписях и создания расшифровок. По README, на тестах FLEURS, CommonVoice и NST версия tiny показала WER 13,2, 12,9 и 11,2 соответственно; доступны стили транскрипции Stage 2, Subtitle и Strict. Репозиторий содержит веса в форматах Safetensors и ONNX, а автор также описывает варианты для whisper.cpp и CTranslate2. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанным наборам и условиям оценки; для других аудио качество может отличаться.
kyrgyz-whisper-small — мультиязычная модель распознавания речи, дообученная на архитектуре Whisper Small компании OpenAI. Модель содержит 153,1 млн параметров и принимает аудио для транскрибации на кыргызском, английском и русском языках. Она рассчитана на работу с шумными записями, смешением языков и дальнейшую адаптацию с помощью LoRA. В карточке сообщается об обучении примерно на 2 000 часах кыргызского аудио и дополнительном аудио на английском и русском языках. На бенчмарке FLEURS кыргызская WER достигает примерно 0,2–0,4; добавление кыргызского языка сопровождается некоторым снижением точности для английского и русского. Для кыргызского требуется пользовательский токенизатор. Модель распространяется по лицензии Apache-2.0.
NB-Whisper Large — модель распознавания речи от NB AI-Lab Национальной библиотеки Норвегии, дообученная на основе openai/whisper-large. Модель семейства Whisper содержит около 905 млн параметров и предназначена для транскрибации речи; семейство также поддерживает перевод речи. Для обучения серии NB-Whisper использовали 8 млн аудиофрагментов общей длительностью около 66 000 часов, включая датасеты NbAiLab/ncc_speech, NbAiLab/NST и NbAiLab/NPSC. Модель ориентирована прежде всего на норвежский язык, включая букмол и нюношк, а также поддерживает английский. Она принимает аудио и генерирует текст; длинные записи можно обрабатывать сегментами, а Transformers позволяет получать временные метки слов и предложений. Для Large рекомендуется GPU; в README указано, что это релиз-кандидат, поэтому качество и стабильность могут измениться. Лицензия — Apache 2.0.
NB-Whisper Medium Beta — модель автоматического распознавания речи от NB AI-Lab Национальной библиотеки Норвегии. Это дообученная версия Whisper с архитектурой WhisperForConditionalGeneration и примерно 455,8 млн параметров. Модель принимает аудио и создаёт письменную транскрипцию; основное назначение — распознавание норвежской речи, также поддерживается английский язык. Обучение проводилось на 20 000 часах размеченных данных, включая норвежские речевые корпуса, парламентские выступления, телесубтитры и аудиокниги. Доступны веса в форматах PyTorch, TensorFlow, JAX/Flax, ONNX и Safetensors. Модель предназначена для общего распознавания речи и доступна третьим сторонам как публичная бета. Разработчик отмечает, что для норвежских транскрипций она показывает высокое качество относительно ASR-моделей сопоставимого размера. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).
Карточка модели BasedBoba2/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.
NVIDIA Conformer-CTC Large (en-US) — модель распознавания речи, разработанная NVIDIA и обученная с помощью инструментария NeMo. Это крупный вариант архитектуры Conformer с CTC-декодированием, примерно 120 млн параметров; модель работает без авторегрессионной генерации и принимает монофоническое аудио WAV с частотой 16 кГц, выдавая транскрипцию в виде текста. Модель предназначена для транскрибирования английской речи, в том числе в пакетной обработке аудиофайлов и в серверных развертываниях через NVIDIA Riva. Она обучена на нескольких тысячах часов речи из LibriSpeech, Fisher, Switchboard, WSJ, VoxPopuli, Common Voice и других корпусов. В README приведены показатели WER на нескольких тестовых наборах; подключение внешней языковой модели при развертывании через Riva может улучшить точность. Распознавание может быть менее точным для технической лексики, разговорных вариантов речи и акцентов, недостаточно представленных в обучающих данных. Лицензия модели — CC BY 4.0.
NVIDIA FastConformer-Hybrid Large (ka) — модель распознавания речи на грузинском языке, разработанная NVIDIA и предназначенная для использования с инструментарием NeMo. Она преобразует монофонические аудиозаписи WAV с частотой 16 кГц в текст на грузинском письме; результат включает пробелы и знаки препинания: точки, запятые и вопросительные знаки. Модель построена на архитектуре FastConformer и содержит около 115 млн параметров. Это гибридный чекпойнт, обученный с функциями потерь Transducer и CTC, поэтому распознавание доступно в обоих режимах. Для обучения использовали около 163 часов грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. В README приведены значения WER 5,73% на тесте Common Voice и 13,44% на тесте Fleurs при жадном декодировании Transducer. Модель подходит для транскрибации грузинской речи и может служить предобученной основой для дообучения на других данных. Качество может снижаться на технической лексике, разговорных вариантах речи и акцентированной речи. Лицензия — CC BY 4.0.