I.9Аудио и музыка

Voxtral-Mini-4B-Realtime-2602-GGUF — это квантованные GGUF-конверсии мультимодальной аудиотекстовой модели Voxtral Mini 4B Realtime 2602, разработанной Mistral AI и адаптированной для transcribe.cpp проектом handy-computer. Модель предназначена для автоматического распознавания речи в реальном времени и офлайн-транскрипции, включая голосовых ассистентов, живые субтитры и другие сценарии потоковой обработки аудио. Архитектура включает аудиоэнкодер примерно на 970 млн параметров с причинными свёртками и 32-слойным трансформером со скользящим окном, проектор и декодер Ministral примерно на 3,4 млрд параметров с 26 слоями и GQA 32/8. Модель принимает монофонический WAV с частотой 16 кГц, поддерживает потоковую обработку с настраиваемой задержкой, автоматическое определение языка и 13 языков: английский, французский, испанский, немецкий, русский, китайский, японский, итальянский, португальский, нидерландский, арабский, хинди и корейский. Перевод речи и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантования Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 2,83 до 8,88 ГБ. На LibriSpeech test-clean заявленная частота ошибок слов составляет 2,07–2,09%, причём все опубликованные варианты квантования показали сопоставимое качество. Эти результаты относятся к английской офлайн-транскрипции и не характеризуют качество на остальных языках. Для работы требуется transcribe.cpp; входные аудиофайлы должны быть приведены к формату 16 кГц, моно WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

W2V2-BERT-Malayalam — модель распознавания речи на малаяламском языке, разработанная автором репозитория vrclc путём дообучения facebook/w2v-bert-2.0. Это плотная архитектура Wav2Vec2-BERT с примерно 402,7 млн параметров, настроенная для automatic speech recognition на наборах IMaSC, MSC, OpenSLR Malayalam Train split, Festvox Malayalam и Common Voice 16.1. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указаны значение WER 0,1299 и loss 0,1722 на оценочной выборке. Модель подходит для транскрибирования записей и аудиоматериалов на малаяламском языке. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Оценка качества относится к указанной в карточке оценочной выборке; других условий тестирования README не приводит.

ayymen/w2v-bert-2.0-waxal_lin_sna-1epoch — дообученная модель распознавания речи на основе facebook/w2v-bert-2.0. Она обучена на наборе WAXAL_LIN_SNA - NA и предназначена для преобразования речи в текст. В архитектуре используется Wav2Vec2BertForCTC; модель содержит 402,8 млн параметров и принимает аудио. На оценочном наборе указаны WER 0,3383, CER 0,1054 и loss 0,3524. Модель распространяется по лицензии MIT.

jayashreedevi2020/wav2vec2-large-xls-r-300m-assamese — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice 11.0. Она принимает аудио и преобразует речь на ассамском языке в текст; архитектура основана на Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель подходит для транскрибирования записей и оценки распознавания ассамской речи. В README приведены результаты на оценочной выборке: WER 0,6470 и loss 0,9825; качество может зависеть от условий записи и соответствия аудио данным обучения. Лицензия — Apache-2.0.

ayameRushia/wav2vec2-large-xls-r-300m-el — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на греческой части Common Voice 8.0. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC, содержащая 402,7 млн параметров и работающая с аудиовходом. Модель предназначена для преобразования греческой речи в текст, в том числе для расшифровки записей, похожих на примеры из Common Voice. В README указана WER 31,1294% без языковой модели и 20,7340% с языковой моделью, а CER — 7,9509% и 6,0466% соответственно; для оценки использовался тестовый набор Common Voice 8.0. Модель распространяется под лицензией Apache-2.0.

Wav2Vec2-Large-XLSR-53-Basque — модель распознавания речи, созданная Stefan It и дообученная на базе facebook/wav2vec2-large-xlsr-53 на баскском языке с использованием Common Voice. Она принимает аудио и преобразует речь в текст; для работы входную речь следует подавать с частотой дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2 с CTC-декодером и содержит около 402,7 млн параметров. В README приведён результат 18,27% на тестовой части Common Voice для баскского языка. Модель предназначена для распознавания баскской речи; применение к другим языкам не подтверждено. Лицензия — Apache-2.0.

imvladikon/wav2vec2-large-xlsr-53-hebrew — модель автоматического распознавания речи на иврите, созданная дообучением facebook/wav2vec2-large-xlsr-53 на нескольких загруженных образцах с YouTube. Она принимает аудио с частотой дискретизации 16 кГц и выдаёт распознанный текст; архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. Модель подходит для транскрибирования ивритской речи в текст. Распространяется по лицензии Apache-2.0.

smutuvi/wav2vec2-large-xlsr-sw-common-voice-16 — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC. Она дообучена на facebook/wav2vec2-large-xlsr-53 с использованием Common Voice 16.0 и предназначена для преобразования речи в текст. Размер модели — 402,7 млн параметров; веса опубликованы в формате safetensors. Модель подходит для транскрибации аудиозаписей на суахили. В README приведён показатель WER 0,3082 на оценочной выборке; также указано значение loss inf, поэтому результат оценки следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

byoussef/whisper-large-v2-Ko — дообученная модель распознавания речи на основе openai/whisper-large-v2, опубликованная в формате PyTorch и Safetensors. Она предназначена для преобразования корейской речи в текст. В метаданных указан набор данных Bingsu/zeroth-korean; в README приведён результат WER 2,9 на оценочной выборке, но методика оценки не описана. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration. Базовая модель поддерживает транскрибацию аудио и перевод речи; эта версия специализируется на корейском языке. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает ограничения, условия записи аудио или качество на других наборах данных.

Модель dianavdavidson/whisper-medium_mucs_62901_ratio_alldata_lr_1e-4_lgid_hi_hinglish_mixed_scripts_FT — дообученная версия Whisper-medium от OpenAI с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров. Она принимает аудио и предназначена для автоматического распознавания речи с выводом текстовой расшифровки. Название модели указывает на настройку для хинглишской речи и смешанного письма, однако README не раскрывает обучающие данные и не описывает конкретные сценарии применения. На оценочном наборе указаны Loss 0,4527 и Global WER 29,0941; результаты относятся только к этому набору. Модель распространяется под лицензией Apache-2.0.

ales/whisper-small-belarusian — модель автоматического распознавания речи, дообученная на основе openai/whisper-small на белорусской части набора Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую транскрипцию, в первую очередь для белорусской речи. Архитектура Whisper, около 153,1 млн параметров; веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. В README указаны WER 6,3672 на валидационной выборке и 6,79 на тестовой выборке. Эти показатели относятся к оценке на Common Voice и не гарантируют такое же качество для других записей, условий записи или разновидностей белорусской речи. Карточка не описывает дополнительные сценарии применения.

crossdelenna/whisper-small.en — дообученная версия Whisper Small English, опубликованная на Hugging Face. Модель с архитектурой WhisperForConditionalGeneration содержит 153,1 млн параметров и предназначена для автоматического распознавания речи и преобразования аудио в текст. Репозиторий содержит веса PyTorch и SafeTensors; лицензия — Apache 2.0. Модель рассчитана на англоязычное распознавание речи. В карточке приведена оценка WER 0,7672 на наборе оценки, но набор данных и условия тестирования не описаны; поэтому результат не позволяет надёжно судить о качестве в конкретном сценарии.

onnx-community/whisper-small.en — версия модели openai/whisper-small.en с весами в формате ONNX, подготовленная сообществом ONNX Community для совместимости с библиотекой Transformers.js. Модель предназначена для запуска в JavaScript- и web-средах, где требуется использовать модель Whisper с ONNX-весами. По имеющимся данным, модель ориентирована на англоязычный вариант Whisper и сценарии обработки речи, поддерживаемые исходной моделью. Ключевая особенность — размещение ONNX-весов в отдельном репозитории; архитектура, точный размер, поддерживаемые модальности и параметры контекста в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять у исходной модели openai/whisper-small.en и в репозитории модели.

Whisper Medium (Thai) Timestamp — модель Biodatlab для автоматического распознавания тайской речи с временными метками. Это дообученная версия biodatlab/whisper-th-medium-combined на длинных аудиофрагментах, составленных из набора CMKL/Porjai-Thai-voice-dataset-central. Архитектура Whisper Medium содержит около 455,8 млн параметров; модель использует библиотеку Transformers и распространяется в формате safetensors. Модель предназначена для транскрибации тайской речи, создания субтитров и привязки текста к временным точкам аудио. В README указана оценка WER 15,57 на тестовой части Common Voice 13 с токенизатором Deepcut. Временные метки приблизительные: при обучении использовались метки, полученные с помощью VAD, а не точная ручная разметка. Точность распознавания и выравнивания может снижаться из-за фонового шума, особенностей дикторов и акустических условий; автор отмечает, что результат распознавания может уступать версии без временных меток. Лицензия — MIT.

NaufalAqil18/whisper-tiny-indov2 — дообученная NaufalAqil18 модель распознавания речи на базе OpenAI Whisper Tiny. Она преобразует аудио в текст; размер модели составляет 29,4 млн параметров, архитектура — WhisperForConditionalGeneration. Модель обучена на датасете generator и предназначена для транскрибации аудиозаписей. В README приведены результаты оценки: loss 0,3805, WER 30,6093 и CER 14,6600. Лицензия — Apache-2.0. Карточка не уточняет языки аудио и условия тестирования, поэтому результаты сами по себе не позволяют судить о качестве распознавания в конкретном сценарии.

Модель patrickvonplaten/xls-r-300-sv-cv7 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания шведской речи. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель обучена на шведской части набора Mozilla Common Voice 7.0 и принимает аудио, выдавая распознанный текст. На тестовой выборке Common Voice 7.0 для конфигурации sv-SE указана WER 0,2334 и loss 0,2604. Модель подходит для транскрибации шведской речи в сценариях, близких к этому набору данных; результаты на других акцентах, условиях записи и типах речи могут отличаться. Лицензия — Apache-2.0.

Awesome-x разработала aci-yoruba-phase3 как дообученную модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием. Она принимает аудио и преобразует речь в текст; модель содержит 402,7 млн параметров и распространяется в формате Safetensors через библиотеку Transformers. Модель рассчитана на распознавание речи на йоруба, что следует из названия модели и базовой модели Awesome-x/aci-yoruba-phase2. Модель может подойти для транскрибации аудиозаписей и построения систем распознавания речи на йоруба. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии. Данные обучения и оценки, а также конкретные ограничения качества в карточке не описаны.

SpeechBrain CRDNN-RNNLM — англоязычная система автоматического распознавания речи, обученная на LibriSpeech. Она предназначена для транскрибации английских аудиозаписей и поддерживает распознавание отдельных файлов и пакетную обработку через SpeechBrain. Система объединяет акустическую модель CRDNN с CTC- и attention-декодерами, unigram-токенизатором и рекуррентной языковой моделью RNNLM. Акустическая часть использует свёрточные блоки и двунаправленную LSTM. Для обучения использовались одноканальные записи с частотой 16 кГц; при обработке система может привести аудио к нужному формату. В README указан WER 3,09 на тестовом наборе LibriSpeech. Модель опубликована SpeechBrain под лицензией Apache-2.0. Разработчики предупреждают, что качество на наборах данных, отличных от LibriSpeech, не гарантируется.

A.X K2 Raon-Speech — мультимодальная речевая языковая модель KRAFTON AI для английского и корейского языков. Она объединяет текстовую основу A.X K2 Light 20B-A3B с архитектурой mixture-of-experts, речевой энкодер AuT и нейронный аудиокодек в одном чекпойнте. Всего модель содержит около 21,2 млрд параметров, из которых активны около 3,5 млрд; веса представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для распознавания и генерации речи, понимания аудио, ответов на вопросы по речи и голосового общения с ассистентом. Она поддерживает STT, TTS, SpeechQA, SpokenQA, диалог с чередованием текста и аудио, а также генерацию речи с учетом эмоций и интонации. Для TTS доступны голосовое обусловливание по эталонной записи и продолжение речи с сохранением просодии; эти функции используют внешний замороженный энкодер ECAPA из SpeechBrain. В карточке сообщается о высоких агрегированных результатах на корейских и английских речевых бенчмарках. Для запуска требуется Transformers версии 4.57.1 или новее; BF16-чекпойнт занимает около 42,4 ГБ, рекомендуется GPU с 80 ГБ памяти или подходящая многокарточная конфигурация. Модель предназначена для исследований и некоммерческого прототипирования; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. При голосовом обусловливании и генерации с идентифицируемыми голосами необходимо получать согласие.

ContentVec — модель извлечения признаков на архитектуре HuBERT, опубликованная в формате safetensors для работы с библиотекой HuggingFace Transformers. В README указано использование для извлечения признаков; размер модели — 113,3 млн параметров. Модель принимает аудио и выдаёт векторные представления признаков, которые можно использовать как вход для последующих задач обработки речи. Репозиторий распространяется по лицензии MIT.

CrisperWhisper — вариант Whisper для точной дословной транскрибации речи и получения временных меток на уровне слов. Карточка описывает модель как доработку Whisper с изменённым токенизатором и дополнительной функцией потерь для повышения точности выравнивания; в метаданных указаны архитектура Whisper, 905,2 млн параметров и формат safetensors. Базовые модели по данным каталога — nyrahealth/CrisperWhisper и openai/whisper-large-v3; каталог отмечает слияние моделей. Модель предназначена для сценариев, где важны заполнители пауз, повторы, запинки и ложные старты, например для анализа записей совещаний, интервью и выступлений. Для получения словных временных меток применяется выравнивание по cross-attention с помощью Dynamic Time Warping. README приводит результаты сравнения на нескольких наборах данных, но качество зависит от аудио и задачи; в отдельных примерах показаны лишние фрагменты распознавания. Поддержка карточкой указана для немецкого и английского языков. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

RodrigoLimaRFL/distil-whisper-nurc-sp-fine-tuned — модель распознавания речи на базе Whisper, дообученная автором на наборе данных NURC-SP. Она предназначена для преобразования аудиозаписей в текст; обучение на NURC-SP указывает на специализацию на речевых данных этого набора. Модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель принимает аудио и выдаёт текст, pipeline Hugging Face — automatic-speech-recognition. В метаданных указан португальский язык. Лицензия — MIT. Подробности об оценке качества и ограничениях применения в карточке не приведены.

Модель kiranpantha/exp2-w2v-bert-2.0-nepali-unlabeled-0 — дообученная Kiran Pantha модель распознавания непальской речи. Она основана на kiranpantha/w2v-bert-2.0-nepali и обучена на наборе kiranpantha/OpenSLR54-Balanced-Nepali. Архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров и принимает аудио, преобразуя речь в текст. Модель предназначена для автоматической транскрибации непальской речи. В README приведены результаты на тестовой выборке: WER 0,4058 и CER 0,0951; качество может различаться на записях с другими условиями и содержанием. Распространяется по лицензии MIT.

Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на датасете с названием None. В оценке модели приведены loss 0,5062 и Global WER 26,0112. Модель использует архитектуру WhisperForConditionalGeneration и формат весов safetensors; библиотека для работы — Transformers. Лицензия — MIT. Подтверждена поддержка хинди; сведений о других языках и параметрах контекста карточка не содержит.

onnx-community/kotoba-whisper-v2.2-ONNX — это ONNX-версия модели kotoba-tech/kotoba-whisper-v2.2, подготовленная для использования с библиотекой transformers.js. Модель была автоматически конвертирована и опубликована сообществом onnx-community на Hugging Face. По представленным данным, модель относится к семейству Whisper и предназначена для задач обработки аудио, однако конкретные поддерживаемые сценарии, языки, модальности, размер, параметры архитектуры и длина контекста в README не указаны. Формат ONNX может быть удобен для запуска в совместимых средах и приложениях на базе transformers.js, но сведения о производительности, требованиях к ресурсам и ограничениях отсутствуют. Лицензия и условия использования в предоставленном README не указаны; для их определения необходимо обратиться к карточке базовой модели kotoba-tech/kotoba-whisper-v2.2 и метаданным данного репозитория.

Это дообученная модель распознавания речи на архитектуре wav2vec2, основанная на facebook/mms-1b-all. Она обучена на наборе BEMGEN - BEM и предназначена для преобразования аудио в текст. В карточке приведены результаты оценки на тестовом наборе: loss 12.7139 и CER 0.0530. Модель содержит 1,3 млрд параметров, использует формат safetensors и библиотеку Transformers. Базовая модель поддерживает более тысячи языков, однако языковая поддержка именно этого дообучения в карточке не уточнена. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

Это чекпойнт проекта MMS Zero-shot, разработанный Jinming Zhao и соавторами для распознавания речи на языках, для которых доступно мало размеченных данных. Модель основана на мультиязычной акустической архитектуре wav2vec2, обученной на данных 1 150 языков, и использует промежуточное представление uroman tokens. В карточке указано около 300 млн параметров, а метаданные репозитория указывают 402,7 млн параметров. Для нового языка текстовые данные в небольшом объёме отображаются в промежуточное представление, что позволяет использовать модель для транскрибации речи; при выводе можно дополнительно применять языковую модель. Репозиторий предназначен для автоматического распознавания речи, принимает аудио и выдаёт текст. Лицензия — CC-BY-NC 4.0, которая ограничивает коммерческое использование.

BuzzASR/mongolian — одноязычная модель автоматического распознавания монгольской речи, разработанная в рамках набора BuzzASR и дообученная методом полного fine-tuning от openai/whisper-large-v3. Архитектура основана на Whisper large-v3 и содержит около 901,7 млн параметров; в обучении использованы замена токенизатора для монгольского языка и текстовое multitask-дообучение. Модель преобразует монгольскую речь в текст. Она оценивалась на тестовых наборах FLEURS и Common Voice 25; README сообщает о снижении CER относительно Whisper large-v3 в режиме zero-shot. Лицензия — MIT. Модель предназначена только для монгольского языка. Качество на других доменах, диалектах и условиях записи может отличаться от результатов на тестовых наборах.

cstr/MOSS-Transcribe-preview-2B-GGUF — это GGUF/GGML-конверсия модели MOSS-Transcribe-preview-2B, разработанной командой OpenMOSS-Team. Репозиторий cstr содержит только преобразованные и квантизированные веса и предназначен для запуска через CrispASR. Модель выполняет автоматическое распознавание речи и транскрибацию аудио, поддерживая английский и китайский языки. Заявленная авторами средняя ошибка распознавания составляет 4,87% WER. Модель представляет собой speech-LLM примерно на 2,4 млрд параметров. Она объединяет аудиоэнкодер Qwen3-Omni-MoE с 32-слойным Transformer, размерностью 1280, и языковую модель Qwen3-1.7B с 28 слоями и GQA. Аудио обрабатывается в формате 16 кГц, моно, с 128 mel-бинами; для запуска необходима обязательная ChatML-шаблонизация запроса. Доступны варианты F16 размером 4,51 ГБ, Q8_0 размером 3,28 ГБ и рекомендуемый Q4_K размером 2,63 ГБ. Квантизация применяется преимущественно к матричным операциям языковой модели, тогда как аудиоэнкодер, адаптер и связанные embedding-слои сохраняются в F16 для поддержания качества. Модель может работать на CPU и GPU, включая Metal и CUDA, а runtime CrispASR использует постоянный KV-кэш для эффективной генерации токенов. Сильными сторонами являются компактный размер, наличие квантизированных сборок и проверенная эквивалентность с эталонной реализацией на тестовом аудио. Ограничения включают специализацию на распознавании речи, необходимость подачи монофонического аудио 16 кГц и зависимость от runtime CrispASR; в README также отмечено, что вывод обычно представлен строчными буквами с минимальной пунктуацией. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Nemotron 3.5 ASR Streaming 0.6B — это модель автоматического распознавания речи, разработанная NVIDIA и перенесённая в формат CoreML для локального запуска на устройствах с Apple Silicon. Данный репозиторий содержит конверсию и упаковку исходной модели NVIDIA nvidia/nemotron-3.5-asr-streaming-0.6b, предназначенную для потоковой транскрипции речи с низкой задержкой, в том числе в составе движка FluidVoice Nemotron Speech 3.5 Ultra Fast Low Latency. Модель использует мультиязычный режим с возможностью ручного задания языкового промпта и автоматического определения языка, если это поддерживается средой выполнения. Потоковая конфигурация рассчитана на фрагменты длительностью 320 мс. Порт состоит из компонентов CoreML .mlpackage, включая препроцессор, encoder, decoder, joint-модули и токенизатор; применяется линейная int8-квантизация encoder, а общий размер пакета составляет около 668 МБ. Другие характеристики, включая точный список языков, архитектуру исходной модели, контекст и результаты оценки, в README не указаны. Основные преимущества — локальное выполнение на Apple Silicon, потоковая обработка, низкая задержка и уменьшенный размер благодаря int8-квантизации. Ограничения связаны с зависимостью от CoreML и аппаратной платформы Apple Silicon, а также с тем, что сведения о качестве распознавания, языках и сценариях использования необходимо уточнять в карточке исходной модели NVIDIA. Лицензия обозначена как other; её условия наследуются от upstream-модели NVIDIA.