I.9Аудио и музыка

servinosmanov/whisper-large-v3-crh — дообученная Servin Osmanov модель OpenAI Whisper large-v3 для автоматического распознавания крымскотатарской речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; поддерживает крымскотатарский язык в кириллической и латинской письменности. Для обучения использован датасет servinosmanov/tts-crh-sevil-fixed. В карточке указана лучшая доля ошибок слов (WER) 13,67% с параметрами repetition_penalty=1.2 и no_repeat_ngram_size=3; это на 48,4% лучше приведённого результата дообученного whisper-medium. Модель предназначена для транскрибации крымскотатарской речи. Лицензия — Apache-2.0.

Модель oddadmix/whisper-small-arabic-dialectal — дообученная разработчиком oddadmix модель OpenAI Whisper Small для распознавания многообразной арабской речи. Она принимает аудио и транскрибирует его без диакритических знаков; поддерживает левантийские, магрибские, египетские, заливные, суданские и иракские диалекты, а также современный стандартный арабский. Архитектура — WhisperForConditionalGeneration, около 244 млн параметров; модель построена на openai/whisper-small и доступна в формате safetensors. В тесте на 932 аудиофрагментах модель показала WER 0,428 и CER 0,151 после очистки эталонных текстов. Она рассчитана на офлайн-транскрибацию фрагментов длительностью до 30 секунд, а не на потоковое распознавание. Качество на реальной речи зависит от диалекта: магрибские варианты распознаются сложнее; модель обучалась на дополненных, частично синтетических данных, поэтому её следует оценить на целевых записях перед применением. Выход не содержит диакритики, а латинские токены приводятся к нижнему регистру. Лицензия — Apache-2.0.

Whisper-small-kenyan-english-nonstandard-v2 — модель распознавания речи, разработанная Alexander Sheldon Mainye и дообученная на базе openai/whisper-small. Она предназначена для транскрибирования нестандартного кенийского английского, в том числе в полевых условиях с фоновым шумом и артефактами мобильной связи. В обучении применялись шумовая аугментация аудиосигнала, имитация GSM-кодека и SpecAugment; модель содержит 153,1 млн параметров по метаданным и распространяется в формате safetensors. На тестовой выборке из датасета cdli/kenyan_english_nonstandard_speech_v1.0 указаны WER 15,77% на чистом аудио и 21,62% на шумовом. Модель оптимизирована для кенийского английского; качество на стандартном американском и британском английском может быть ниже, чем у исходной Whisper-small. Обучающая выборка невелика, а работа в помещениях с сильной реверберацией не проверялась. Лицензия — MIT.

nyadla-sys/whisper-tiny.en.tflite — это конвертированная в формат TensorFlow Lite версия модели Whisper tiny.en, разработанной OpenAI и портированной Niranjan Yadla для запуска на периферийных устройствах. Модель предназначена для автоматического распознавания речи на английском языке, в том числе локально на Android и других встраиваемых платформах без обязательной передачи аудио в облако. Модель содержит около 39 млн параметров и использует интерфейс TFLite с сигнатурой serving_default. Вариант .en является англоязычным и рассчитан на транскрибацию английской речи; функции автоматического определения языка, мультиязычной транскрибации и перевода к этой конкретной модели не относятся. README не указывает размер контекстного окна и точные характеристики архитектуры, но описывает преобразование Whisper в TFLite с динамической квантизацией диапазона. К сильным сторонам относятся небольшой размер, высокая относительная скорость и пригодность для on-device inference, что делает модель подходящей для мобильных приложений и систем с ограниченными ресурсами. Ограничения включают поддержку только английского языка, меньшую точность по сравнению с более крупными версиями Whisper и отсутствие в README конкретных метрик качества. Модель распространяется по лицензии MIT.

EYEDOL/whisper-tiny-yoruba-v2 — дообученная на основе openai/whisper-tiny модель семейства Whisper для автоматического распознавания речи и преобразования аудио в текст. Репозиторий использует архитектуру WhisperForConditionalGeneration и формат safetensors; модель предназначена для транскрибации речи на йоруба. В карточке приведены результаты оценки: WER Ortho 5.3698, CER Ortho 3.9789, WER 4.9073 и CER 3.9929. Сведения о датасете, условиях обучения и сценариях применения в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

XLS-R Lao ASR — модель распознавания лаосской речи, разработанная SiangLao. Она дообучена на наборе SiangLao/lao-asr-thesis-dataset на базе facebook/wav2vec2-xls-r-300m и использует архитектуру Wav2Vec2 с выходным слоем CTC. Модель содержит 402,7 млн параметров и предназначена для преобразования аудиозаписей на лаосском языке в текст. В README указана частота ошибок на уровне символов (CER): 13,67% на валидационной выборке и 15,14% на тестовой. Модель подходит для расшифровки лаосской речи и создания текстовых транскриптов. Распространяется по лицензии Apache-2.0.

Fun-ASR-Nano-2512-4bit — компактная многоязычная модель распознавания речи из сообщества mlx-community, преобразованная из FunAudioLLM/Fun-ASR-Nano-2512 в формат MLX с помощью mlx-audio-plus 0.1.4. Она принимает аудио и выдаёт текст, поддерживает потоковую транскрипцию, распознавание с подсказками и перевод речи в английский текст. В README заявлена поддержка более 13 языков; полный перечень приведён в карточке исходной модели. Модель предназначена для запуска через библиотеку mlx-audio-plus. В метаданных указана лицензия? Она не предоставлена, поэтому условия использования определить нельзя.

Granite Speech 4.1 2B GGUF — это квантизированная версия мультимодальной аудиоязыковой модели IBM Granite Speech 4.1 2B, подготовленная проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и автоматического перевода речи между английским, французским, немецким, испанским, португальским и японским языками. Перевод выполняется только между английским и каждым из пяти других языков, без прямых направлений вроде французский—немецкий. Входные данные — монофонические WAV-файлы с частотой 16 кГц. Архитектура включает Conformer-энкодер с локальным вниманием Shaw, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1b-base. Размер модели — около 2 млрд параметров. Поддерживаются ASR, speech-to-text и speech translation; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M объёмом примерно от 1,60 до 4,63 ГБ. На LibriSpeech test-clean заявленная WER составляет 1,29–1,37% в зависимости от варианта, а опубликованные результаты для других языков показывают WER 4,14–9,80% и CER 6,3% для японского. Модель сочетает компактность, офлайн-работу, многоязычность и улучшенные пунктуацию и регистр по сравнению с Granite Speech 4.0 1B. Ограничения включают необходимость предварительного преобразования аудио в формат 16 кГц mono WAV, отсутствие streaming, определения языка и временных меток, а также ограниченный набор языков и направлений перевода. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Nawah-ASR-118M-v5 — модель распознавания арабской речи, опубликованная oddadmix. Это компактная система на 118 млн параметров: акустический энкодер архитектуры Whisper обучен с нуля на собственном корпусе объёмом 866 часов, а распознавание использует арабскую языковую модель в оболочке Qwen2Audio. После обучения модель дополнительно оптимизировали методом GRPO с оценкой по ошибке распознанных слов. Модель предназначена для преобразования арабской речи в текст. В карточке приведены результаты на 3165 отложенных аудиофрагментах и сравнение с Whisper; качество зависит от регистра речи и принятого способа записи. Для загрузки автор рекомендует функцию load_v5: стандартный from_pretrained может установить частоту аудиотокенов вдвое ниже обучающей, что приводит к некорректной работе. Вход — монофонический аудиосигнал float32 с частотой 16 кГц; контекст языковой модели — 2048 токенов. Модель лучше подходит для арабской речи в литературном регистре; разговорный египетский диалект и короткие записи распознаются хуже. Для длинных записей автор рекомендует предварительное сегментирование. Распространяется по лицензии Apache-2.0.

OmniStep-new — модель семейства OmniSenter, разработанная Chris (Nous Girl) на базе архитектуры Qwen3. Это мультимодальная сборка для диалогов и следования инструкциям, понимания изображений и видео, а также генерации музыки по тексту и текстам песен. В README описаны текстовая основа Qwen3-8B, мультимодальные компоненты Cosmos и модули ACE-Step v1.5 turbo с языковой моделью, DiT и VAE; метаданные указывают 7,6 млрд параметров, контекст до 40 960 токенов и поддержку image-text-to-text. Модель сформирована слиянием весов Darwin Family из компонентов nvidia/Cosmos3-Nano и Qwen/Qwen3-8B; для распространения доступны GGUF F16 и safetensors. Лицензия — Apache-2.0. Модель предназначена для мультимодального чат-ассистента, анализа изображений и видео и создания музыки по текстовому описанию. README называет её базовой сборкой для прямого инференса или последующего обучения с учителем; отдельная агентная LoRA в эту модель не включена. В карточке заявлены генерация музыки и понимание видео, однако метаданные каталога подтверждают только задачи text-generation и image-text-to-text. Учитывая необычную объединённую архитектуру и расхождение числа параметров в README и метаданных, совместимость конкретных функций и сборок стоит проверять на практике.

Røst-wav2vec2-315m-v2 — датская модель автоматического распознавания речи, разработанная компанией Alvenir в рамках проекта CoRal. Это Wav2Vec2ForCTC, дообученная на базе facebook/wav2vec2-xls-r-300m на корпусе CoRal-v2, содержащем разговорную и начитанную датскую речь разных возрастных групп, полов и диалектов. В метаданных указано 402,7 млн параметров; файлы представлены в формате safetensors. Модель предназначена для транскрибирования датской речи, в том числе диалектной, в разговорных записях и начитанном аудио. В оценке на CoRal-v2 для начитанной речи указаны CER 6,5% и WER 16,3%; результаты на разговорной речи предварительные и получены на тестовой выборке всего с пятью дикторами. Для оценки применялась языковая модель как постобработка. Модель распространяется по лицензии OpenRAIL, адаптированной под лицензию CoRal-v2. README указывает, что коммерческое использование допускается с ограничениями, включая синтез речи и биометрическую идентификацию; следует ознакомиться с условиями лицензии перед использованием.

Capacit-ai/saga — модель автоматического распознавания речи, разработанная Andreas Eefsen из Capacit A/S на основе Qwen/Qwen3-ASR-1.7B и дообученная на семействе датасетов CoRal. Она предназначена для транскрибации датской речи, в том числе длинных записей; для длинного аудио описан режим последовательной обработки фрагментов с накоплением контекста. Модель принимает монофонический аудиосигнал с частотой 16 кГц и выдаёт текст. По опубликованной оценке на тестовой части CoRal read_aloud она показала CER 6,7% и WER 15,6%; автор также сообщает об оптимизациях для быстрого вывода. Хотя базовая Qwen3-ASR многоязычна, этот чекпойнт ориентирован на датский и, по описанию, утратил большую часть многоязычных возможностей. Лицензия — Apache-2.0.

Harveenchadha/vakyansh-wav2vec2-bengali-bnm-200 — модель автоматического распознавания речи, опубликованная пользователем Harveenchadha в рамках проекта Vakyansh, посвящённого speech-to-text для индийских языков. Она предназначена для преобразования аудиозаписей на бенгальском языке в текст и может использоваться через Transformers как pipeline automatic-speech-recognition или напрямую через AutoModelForCTC. Модель основана на архитектуре wav2vec2 и Wav2Vec2ForCTC. Конфигурация указывает 12 transformer-слоёв, 12 attention heads, hidden size 768, intermediate size 3072 и словарь из 65 токенов бенгальского письма. Ожидаемая частота дискретизации аудио — 16 кГц; входная модальность — речь, выходная — текст на бенгальском языке. Размер файла весов составляет около 378 МБ. Название указывает на обучение на объёме около 200 часов, однако подробности датасета и результаты оценки в карточке модели не приведены. Сильная сторона модели — специализированное распознавание бенгальской речи на основе wav2vec2 с готовой интеграцией в экосистему PyTorch и Transformers. Ограничения включают отсутствие подробной model card, опубликованных метрик качества, описания границ применимости и подтверждённой информации о поддержке других языков или модальностей. Лицензия в доступных материалах репозитория не указана, поэтому условия использования следует уточнять перед применением.

Модель wbbbbb/wav2vec2-large-chinese-zh-cn разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для распознавания китайской речи. Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForPreTraining и примерно 407,9 млн параметров; она принимает аудио с частотой дискретизации 16 кГц и выдаёт текстовую транскрипцию. Для обучения использовались обучающая и валидационная выборки Common Voice 6.1, CSS10 и ST-CMDS. Модель предназначена для автоматической транскрипции речи на китайском языке, в том числе аудиозаписей для тестирования распознавания. В README приведены результаты оценки на тестовых данных Common Voice для zh-CN: WER 70,47% и CER 12,30%; это указывает на существенные ошибки распознавания, поэтому качество следует проверять на целевых данных. Веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0.

Модель reichenbach/wav2vec2-large-xls-r-300m-hi — дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на хинди. Она использует архитектуру Wav2Vec2 с выходной CTC-головой и содержит около 402,8 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В карточке приведён результат оценки на тестовой выборке: WER 0,9420 и loss 2,4749. Высокий WER указывает на существенные ошибки распознавания в этой оценке, поэтому качество следует проверять на данных целевого сценария. Модель распространяется по лицензии Apache-2.0.

wav2vec2-large-xlsr-53-faroese-100h — акустическая модель для автоматического распознавания речи на фарерском языке. Её дообучил Carlos Daniel Hernández Mena в Language and Voice Lab Университета Рейкьявика на 100 часах фарерской речи из набора Ravnursson Faroese Speech and Transcripts, выпущенного проектом Ravnur. Модель построена на архитектуре wav2vec2 и использует CTC для преобразования аудио в текст. Она предназначена для транскрибирования фарерской речи; в README приведён результат оценки 0,076, но метрика не названа. Модель опубликована в формате PyTorch и содержит около 402,7 млн параметров. Лицензия — CC BY 4.0.

Wav2Vec2-Large-XLSR-53-Gujarati — акустическая модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на гуджарати. Она преобразует аудио в текст и предназначена для распознавания записей речи на гуджарати; для входного аудио требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Для обучения использовали 90% набора OpenSLR SLR78 с записями мужских и женских голосов, предварительно исключив несколько примеров с символами латиницы. В README приведён результат оценки 23,55%, но не уточнена метрика; также в разделе оценки упоминаются данные маратхи, что расходится с заявленной специализацией на гуджарати. Модель распространяется по лицензии Apache-2.0.

efwkjn/whisper-ja-1.5B — дообученная модель семейства Whisper для распознавания японской речи в текст. В README указано, что это базовый экспериментальный чекпойнт, дообученный на основе Whisper large-v3; по метаданным модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель предназначена для автоматической транскрипции японской речи. Автор сообщает о конкурентном качестве по CER на проверенных наборах данных: результаты на коротких записях сопоставимы с предыдущими моделями, а длинные записи распознаются хуже. Также возможны повторы фрагментов текста. Для инструкций по использованию README отсылает к openai/whisper-large-v3. Сведения о лицензии в предоставленных данных отсутствуют.

Это модель автоматического распознавания речи, созданная Мохаммедом Али тонкой настройкой openai/whisper-large-v3-turbo на наборе MohamedRashad/arabic-english-code-switching. Она преобразует аудио с египетской арабской речью в текст и при переключении на английский старается записывать английские слова латиницей, а не арабским письмом. Модель основана на архитектуре Whisper и содержит 809 млн параметров. Модель предназначена для расшифровки речи с переключением между египетским арабским и английским, например разговоров с распространёнными английскими терминами. Лицензия — MIT. Для лучшего распознавания рекомендуется монофоническое аудио с частотой 16 кГц; максимальная длина сегмента — 30 секунд.

ychafiqui/whisper-medium-darija — модель распознавания речи, созданная дообучением Whisper medium от OpenAI на датасете Darija Speech to Text. Она предназначена для преобразования речи на дариже в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров; для работы с ней используется библиотека Transformers. Карточка не приводит результатов оценки и подробных сведений об ограничениях. Модель распространяется по лицензии Apache-2.0.

Это дообученная модель распознавания речи Whisper Small, созданная в рамках проекта Olu Igbo для транскрибирования речи на игбо. Она основана на openai/whisper-small и дообучена на данных FLEURS, Nigerian Common Voice и примерно 25 тысячах аудиозаписей корпуса NaijaVoices. Модель содержит 153,1 млн параметров и предназначена в том числе для автономной работы на Android-телефонах среднего уровня; для экспорта и запуска на устройстве доступны файлы ONNX, также репозиторий содержит веса Safetensors. На тестовой выборке FLEURS для игбо указана WER 41,95% против 68,95% у исходной модели без дообучения. Поскольку игбо отсутствует среди языков Whisper, при обучении и распознавании используется токен языка йоруба как прокси. Модель лучше справляется с короткими и чёткими высказываниями; в живой записи и длинной сложной речи возможны ошибки, незавершённая транскрипция и повторения. Слабые места — заимствованные слова, имена и числа. Лицензия CC BY-NC-SA 4.0 разрешает использование на условиях указания авторства, распространения производных материалов на той же лицензии и ограничений на коммерческое применение.

Whisper Small Manglish — дообученная модель OpenAI Whisper Small, созданная для автоматической транскрибации речи с переключением между малаялам и английским (Manglish). Она принимает аудио и выдаёт текстовую расшифровку; в метаданных указаны архитектура WhisperForConditionalGeneration и формат весов safetensors. Модель рассчитана на распознавание смешанной малаяламско-английской речи. На тестовой выборке Manglish ASR Benchmark модель показала WER 44,38% и CER 16,53%; в README сообщается, что обучение, валидация и тест не пересекались по клипам. Оценка проводилась только на этом бенчмарке, а строгая посимвольная и пословная сверка считает ошибками и варианты записи одного слова разными письменностями. Лицензия — Apache-2.0.

Это дообученная модель автоматического распознавания речи, созданная Andrew Bawitlung на основе openai/whisper-small и обученная на наборе MiZonal v3.0. В версии набора добавлен примерно час разговорной речи. Модель содержит 153,1 млн параметров и принимает аудио, выдавая его текстовую расшифровку; эксперимент E5 использует комбинированные аугментации: шум, изменение скорости и SpecAugment. Модель предназначена для транскрибирования речи на языке Lusoga (код lus), в том числе разговорной речи. На тестовом наборе автор сообщает WER 21,06, CER 7,30 и коэффициент реального времени 0,0263. Модель распространяется по лицензии Apache-2.0. README указывает, что подробности экспериментов и публикация находятся на этапе подготовки к рецензированию.

Adnan666/whisper-small-pashto-stage2-fleurs — дообученная модель распознавания речи на базе Whisper Small. Она принимает аудио и преобразует речь в текст; карточка указывает дообучение на неизвестном наборе данных, а метаданные определяют архитектуру как WhisperForConditionalGeneration с 153,1 млн параметров. Модель предназначена для автоматического распознавания речи на пушту. На оценочном наборе указаны Loss 0,5410 и WER 36,1158. Эти результаты относятся только к упомянутому набору оценки и не гарантируют такое же качество на других данных. Лицензия — Apache-2.0.

Subhaka/whisper-small-Sinhala-Fine_Tune — дообученная модель Whisper Small, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; название модели указывает на настройку для сингальского языка. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch. Модель можно применять для транскрибирования сингальской речи. В README не приведены сведения о датасете, методике обучения, оценке качества и конкретных ограничениях. Лицензия — Apache-2.0.

TheirStory/whisper-small-xhosa — дообученная модель OpenAI Whisper-small для автоматического распознавания речи на языке isiXhosa. Она предназначена для транскрибирования аудиозаписей на isiXhosa; архитектура основана на Whisper, число параметров — 153,1 млн. Модель обучалась на корпусе NCHLT isiXhosa Speech Corpus объёмом около 56 часов: это короткие прочитанные вслух фразы, записанные на смартфон вне студии; в корпусе участвовали 209 дикторов. В README приведён показатель WER 29,73%. Он отражает качество на оценке автора, но сам по себе не гарантирует такую же точность на других типах речи и условиях записи. Модель распространяется по лицензии Apache-2.0; корпус обучения указан под лицензией CC BY 3.0.

Or4kool/wolof_asr-lm — модель распознавания речи на волоф, подготовленная на основе Or4kool/wolof_asr и дополненная KenLM n-граммной языковой моделью для декодирования с поиском по лучу. Она предназначена для преобразования аудиозаписей на волоф в текст; декодер использует параметры alpha=0.9 и beta=0.0 и рассчитан на подключение в сервис Wolof ASR. Базовая архитектура — Wav2Vec2ForCTC; в репозитории используются веса Safetensors, размер модели составляет около 402,7 млн параметров. Лицензия в предоставленных данных не указана.

xlsr-luganda-waxal — модель распознавания речи на основе Wav2Vec2 XLSR, созданная дообучением sulaimank/wav2vec2-xlsr-swahili-400hr. Она преобразует входящее аудио в текст и предназначена для автоматического распознавания речи. Архитектура — Wav2Vec2ForCTC; модель содержит около 402,7 млн параметров и распространяется в формате Safetensors. В карточке приведены результаты оценки: WER 0,2144, CER 0,0446 и Zindi 0,8705; набор данных и подробности тестирования не раскрыты. Название указывает на лугандийскую речь, но README не описывает поддерживаемые языки и сценарии подробнее. Лицензия — Apache 2.0.

Arabic-Whisper-CodeSwitching-Edition — модель распознавания речи, разработанная العبد لله и дообученная на базе Whisper Large v2 от OpenAI на наборе данных арабско-английской речи с переключением языков. Она предназначена для транскрибации арабской речи, в которую включены английские слова, в том числе в многоязычной среде. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; в карточке заявлена поддержка арабского и английского языков в контексте арабской речи. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — GPL-3.0. Модель ориентирована на арабскую речь с английскими вставками. По карточке, она может хуже работать с одноязычной речью на других языках и с переключением языков, отличных от арабского и английского.

Granite Speech 5.0 TurboCTC — компактная модель распознавания английской речи от IBM с 470 млн параметров. Она предназначена для быстрой транскрибации речи в текст и рассчитана на развертывание на ноутбуках, смартфонах и других устройствах с ограниченными ресурсами. Модель использует акустический энкодер Conformer с блочным self-attention, self-conditioning и временным уменьшением частоты представлений. Она обучена на примерно 60 000 часах английского аудио и применяет CTC с жадным неавторегрессионным декодированием, что обеспечивает высокую скорость вывода. Поддерживается Transformers; для локального запуска также описаны варианты MLX Audio и transcribe.cpp. Модель подходит для корпоративной транскрибации с низкой задержкой и высокой пропускной способностью. Обучающие данные включают общедоступные аудиокорпуса и синтетические примеры, в том числе речь с числами, валютами и адресами. Поддерживается английский язык; лицензия — Apache 2.0. Модель ориентирована на английскую речь, поэтому её не следует считать многоязычной.