I.9Аудио и музыка

Iqrayaseen/whisper-small-te — модель распознавания речи на телугу, созданная автором на основе openai/whisper-small и дообученная средствами Mozilla.ai Blueprint speech-to-text-finetune. Для обучения использованы 99 аудиозаписей на телугу из корпуса Common Voice; архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors. Модель предназначена для преобразования телугуской речи в текст. В приведённой оценке после дообучения ошибки распознавания снизились относительно исходной Whisper Small: нормализованный WER составил 76,298, орфографический WER — 102,579, нормализованный CER — 47,274, орфографический CER — 64,387. Эти значения указывают на существенные ошибки, поэтому перед применением в продуктивных сценариях качество следует проверить на целевых аудиозаписях. Лицензия — Apache-2.0.

lee1jun/kanary-v2-1b-ko-34800 — контрольная точка распознавания корейской речи с управляемым выводом. Модель обучена на базе Korean-tokenizer Canary v2 graft и продолжала обучение в два этапа: сначала на корпусах речи, затем на примерах с инструкциями по нормализации текста, передаче иностранных слов и пунктуации. Для загрузки используется библиотека NeMo и формат prompt проекта kanary. Модель принимает корейскую аудиоречь и выдаёт текст на корейском языке. Параметры itn задают запись чисел и символов либо их произношение словами, foreign управляет записью иностранных слов латиницей или хангылем, а pnc включает или отключает пунктуацию. Чекпойнт показал символьную ошибку CER 7,94% на dev-разделе KsponSpeech, что авторы используют для выбора контрольной точки. Это релиз-кандидат; оценка на других указанных тестовых наборах для этих же весов на момент публикации ещё ожидалась. Модель предназначена для корейской автоматической транскрипции, где важны управляемые форматирование и пунктуация. Лицензия — CC BY 4.0. Корейский язык — единственный поддерживаемый; маркер запрошенного написания иностранного слова не гарантирует точного распознавания этого фрагмента. Использованные наборы AI Hub распространяются на собственных условиях и не включаются в лицензию модели.

KaniTTS EXPO2025 Osaka Japanese — компактная модель синтеза японской речи, представленная как подарок от Кыргызской Республики к Expo Osaka 2025. Это дообученная версия KaniTTS Pretrain v0.3 с архитектурой LFM2 и примерно 460 млн параметров по метаданным; README указывает размер 370 млн параметров. Модель принимает текст и генерирует речь на японском языке. В README описан двухэтапный конвейер: языковая модель формирует сжатые аудиотокены, затем нейрокодек синтезирует звуковую волну. Указана частота дискретизации 22 кГц и контекст 128 000 токенов по метаданным. Модель предназначена для разговорных помощников с низкой задержкой, экранных дикторов, языкового обучения и запуска на ограниченных ресурсах. README сообщает о генерации 15 секунд аудио примерно за секунду и потреблении около 2 ГБ VRAM на RTX 5090; эти показатели относятся к указанной конфигурации оборудования. Лицензия — Apache 2.0. Среди ограничений названы ухудшение качества при входах длиннее 2000 токенов и ограниченная выразительность эмоций без дополнительного дообучения; произношение и просодия могут наследовать смещения обучающих данных.

KaniTTS — модель синтеза речи, представленная в репозитории nineninesix/kani-tts-450m-0.2-pt. Она предназначена для генерации речи в разговорных ИИ-приложениях, голосовых помощниках, средствах доступности и языкового обучения. Модель построена на плотной архитектуре LFM2 с причинной языковой моделью и использует двухэтапный процесс: языковая модель генерирует сжатые аудиотокены, а нейрокодек синтезирует из них звуковую волну. В метаданных указано 460 млн параметров и контекст до 128 000 токенов; README приводит размер 450 млн параметров, частоту дискретизации 22 кГц и заявляет быстрый вывод для диалоговых сценариев. Заявлена поддержка английского, немецкого, арабского, китайского, корейского, французского, японского и испанского языков. README сообщает о лицензии Apache 2.0, тогда как метаданные обозначают лицензию как other, поэтому условия использования стоит сверить с файлами лицензии репозитория. По карточке, качество выразительности без дополнительной настройки ограничено; качество может ухудшаться на длинных входах, также отмечена возможная передача смещений обучающих данных в просодию и произношение.

facebook/mms-tts-dga — модель синтеза речи на южном диалекте языка дагаари (dga), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; MMS-TTS поддерживается библиотекой Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторения того же результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-lhu — модель синтеза речи на языке лаху, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на лаху. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, потоковыми слоями и декодером, похожим на HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-mib — модель синтеза речи на языке миштек, Атлатлаука (код ISO 639-3: mib), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, который преобразует входной текст в речевую аудиоволну. Модель использует архитектуру VITS: она объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, потоковые слои и декодер, построенный по принципу HiFi-GAN. Объём модели — 3,5 млн параметров; доступны веса PyTorch и safetensors. Для работы с чекпойнтом подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на миштекском языке, например для речевых интерфейсов и создания аудиоверсий материалов. Случайный предиктор длительности делает синтез недетерминированным: для повторения того же результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-saq — модель синтеза речи на языке самбуру (Samburu, код saq), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; отдельная модель VITS обучена для каждого языка проекта. Чекпойнт содержит 3,5 млн параметров и доступен для работы через библиотеку Transformers версии 4.33 и выше. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера и состязательного обучения. Текстовый энкодер и потоковый модуль формируют акустические представления, а декодер генерирует волну аудио. Стохастический предиктор длительности позволяет варьировать ритм произношения; генерация недетерминирована, поэтому для повторения результата нужен фиксированный seed. Модель предназначена для озвучивания текста на самбуру. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-shk — модель синтеза речи на языке шиллук, выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на шиллук. Модель построена на архитектуре VITS: текстовый энкодер, вероятностный модуль длительности и декодер формируют речь сквозным образом; для каждого языка MMS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Morocco-Darija-STT-large-v1.4 — модель распознавания речи, созданная дообучением openai/whisper-large-v3. Она предназначена для преобразования аудио в текст; название модели указывает на фокус на марокканском дарижа. В качестве основы используется мультиязычная архитектура Whisper large-v3 от OpenAI, а веса опубликованы в формате safetensors. В карточке приведены результаты оценки: loss 0.5198 и WER 0.8556. Датасет обучения не установлен, поэтому результаты не позволяют надёжно оценить качество на конкретных сценариях или разновидностях речи. Модель распространяется по лицензии Apache-2.0.

music_generation_model — объединённая модель на базе MistralForCausalLM, созданная с помощью LazyMergekit слиянием TheBloke/openchat_3.5-GPTQ и asigalov61/Allegro-Music-Transformer методом SLERP. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации музыки; метаданные также указывают поддержку генерации текста. Контекстное окно составляет 32 768 токенов. Репозиторий распространяется в формате safetensors, а для объединения в README указана точность bfloat16. Лицензия — Apache-2.0. Подробности о формате музыкального вывода и качестве генерации в карточке не описаны.

Step-Audio-R1 — аудиоязыковая модель компании StepFun для понимания и рассуждений по аудио. Она принимает аудиовход и генерирует текстовые ответы с цепочками рассуждений, опирающимися на акустические характеристики, а не только на текстовую расшифровку. Модель предназначена для анализа речи, окружающих звуков и музыки, в том числе для задач, где полезно выделить больше вычислений на этапе вывода. В README описан подход Modality-Grounded Reasoning Distillation (MGRD), который обучает модель связывать рассуждения с аудиосигналом. Для запуска авторы указывают Linux, Python 3.10 или новее, GPU NVIDIA с CUDA и специализированную сборку vLLM; приведённый пример сервера задаёт максимальную длину контекста 16 384 токена. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Размер модели в доступных данных не указан.

toloka/t5-large-for-text-aggregation — модель T5 Large, дообученная командой Toloka на агрегации текстовых ответов, полученных от нескольких исполнителей. Она принимает варианты ответов, разделённые вертикальной чертой, и формирует один итоговый ответ, исправляя разночтения и опечатки. Модель основана на архитектуре T5 для преобразования текста в текст и содержит 385,2 млн параметров. Она предназначена для агрегации краудсорсинговых транскрипций речи; обучение проводилось на частях train-clean, dev-clean и dev-other датасета CrowdSpeech. В README приведены результаты оценки по WER: 4,99 на test-clean и 10,61 на test-other. Контекст составляет 512 токенов, основной язык — английский. Модель применима для объединения нескольких вариантов одной транскрипции или другого короткого текста в единый результат. Она специализирована на сценарии агрегации ответов и не описана как универсальная модель суммаризации. Распространяется по лицензии Apache-2.0.

mo-thecreator/wav2vec2-base-finetuned — дообученная на основе facebook/wav2vec2-base модель для классификации аудио. Она использует архитектуру Wav2Vec2ForSequenceClassification и содержит 113,3 млн параметров. В README указаны accuracy 0,9997 и loss 0,0015 на оценочном наборе, но название и состав набора данных не приведены. Модель принимает аудио и выдаёт классовую оценку; метаданные также отмечают поддержку классификации текста, однако описание обучения и назначения классов отсутствует. Базовая wav2vec 2.0 предварительно обучена на речевом аудио. Модель распространяется по лицензии Apache-2.0.

Marxav/wav2vec2-large-xlsr-53-breton — модель распознавания речи на основе архитектуры wav2vec2, дообученная для бретонского языка на обучающей и проверочной выборках Common Voice. Она принимает аудио и преобразует речь в текст; в карточке приведены примеры распознавания и результат оценки 43,43% на тестовых данных Common Voice. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и Flax. Модель подходит для транскрибирования записей речи на бретонском языке и экспериментов с распознаванием речи. Распознавание в примере выполняется без языковой модели. Распространяется по лицензии Apache-2.0.

efwkjn/whisper-ja-anime-v0.3 — дообученная модель семейства Whisper, созданная efwkjn на основе whisper-large-v3-turbo с японским токенизатором. Она предназначена для автоматического распознавания японской речи, в том числе длинных аудиозаписей; автор сообщает, что версия улучшена для длинных фрагментов, а короткие распознаёт немного хуже предыдущей версии. Модель содержит около 865,1 млн параметров и распространяется в формате safetensors. Автор также обучал модель на текстах песен, но эту возможность не проверял. Для запуска предлагается использовать инструкции whisper-large-v3-turbo; при работе с faster-whisper может потребоваться вручную скорректировать настройки мультиязычности и подавляемых токенов из-за изменений словаря. Лицензия в предоставленных данных не указана.

Это модель автоматического распознавания речи на себуано, созданная участниками проекта halohalo. Она получена дообучением мультиязычной Whisper large-v3 от OpenAI на филиппинском языковом датасете PLD, содержащем прочитанные вслух записи; на вход подаётся аудио, на выходе получается текстовая транскрипция. Модель рассчитана на распознавание себуано и предназначена также для сравнительных экспериментов с распознаванием филиппинских языков. На тесте с невстречавшимися дикторами и предложениями ошибка составила 16,38% по символам и 36,80% по словам. Датасет состоит из подготовленной читаемой речи, поэтому точность может снижаться на спонтанных разговорах, телефонных записях, шумном аудио и при переключении языков. Модель обучалась с использованием ближайшего к себуано токена Whisper; README рекомендует не передавать аргумент language. Лицензия модели — CC-BY-NC-4.0, а обучающий корпус предназначен для некоммерческого использования и исследований.

KOYA Dhivehi Whisper Medium — дообученная модель распознавания речи, созданная на основе openai/whisper-medium. Разработчик указал, что использовал данные Common Voice 13 и набор Shaafiu; модель содержит 455,8 млн параметров и предназначена для преобразования аудиозаписей на дивехи в текст. В карточке приведены результаты оценки: WER 8,3095 и WER по орфографической метрике 48,9192. Эти показатели зависят от набора и метода оценки и не гарантируют такое же качество на других записях. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Это дообученная модель распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров, опубликованная пользователем gary109. Она обучена на датасете GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-ENST2 для автоматического распознавания речи; в README указаны результаты на тестовой выборке: loss 0,5661 и WER 0,3416. Подходит для преобразования аудиозаписей в текст в сценариях, связанных с данными обучения. Язык распознавания и дополнительные сценарии в доступных материалах не описаны. Модель распространяется в формате PyTorch; сведения о лицензии отсутствуют.

Модель frisian-asr-streaming-0.6b — потоковая система автоматического распознавания речи на западнофризском языке (fy-NL), созданная сообществом LokaalHub путём дообучения NVIDIA Nemotron 3.5 ASR. Это модель NeMo на архитектуре Cache-Aware FastConformer-RNNT с примерно 600 млн параметров; для распознавания используется токенизатор базовой модели и слот языкового запроса nl-NL. Модель предназначена для потоковой транскрипции записанной речи на фризском. В описанной оценке на отложенном наборе Common Voice она достигла WER 20,36% при задержке 80 мс. Подходит для транскрибирования фризских аудиозаписей, подготовленных в условиях, близких к чтению предложений. Модель моноязычная: дообучение привело к катастрофической потере поддержки остальных 39 языков базовой модели, и входная речь обычно распознаётся как фризская. При использовании требуется передавать target_lang=nl-NL. Качество может снижаться на спонтанной, шумной или записанной издалека речи. Требуется NeMo версии 26.06 или новее. Лицензия указана как other; точные условия следует сверить с карточкой модели.

agnivamaiti/jem-whisper-yi-2026-09-02-v3 — дообученная модель семейства Whisper Large v3, созданная на основе ivrit-ai/yi-whisper-large-v3. Она предназначена для автоматического распознавания речи и транскрибации аудио на идише. Модель содержит 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате Safetensors для библиотеки Transformers. В README приведены результаты оценки: Loss 0,3918, WER Ortho 1,0265 и WER 0,5948; без описания набора данных и методики оценки эти показатели сложно интерпретировать. Модель распространяется по лицензии Apache-2.0. Сведения о более широком наборе языков, условиях записи и практических ограничениях не приведены.

facebook/mms-tts-ewe — модель синтеза речи на языке эве из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на эве в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза эве и не заявлена как многоязычная.

facebook/mms-tts-gub — модель синтеза речи на языке гуаджахара (Guajajára), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. Размер составляет 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель может давать разные ритм и звучание для одного текста; для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на гуаджахара, например для создания речевых материалов и доступных аудиоверсий текстов. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.

facebook/mms-tts-quc-dialect_central — модель синтеза речи на центральном диалекте языка киче, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на киче в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель основана на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для указанного языка; он доступен через библиотеку Transformers. Генерация недетерминирована из-за стохастического предсказателя длительности, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование на её условиях, включая ограничения на коммерческое применение.

facebook/mms-tts-quw — модель синтеза речи на языке Quichua, Tena Lowland (quw), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, поточные слои, Transformer-энкодер текста, стохастический предиктор длительности и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Из-за стохастической генерации результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Модель доступна через Transformers версии 4.33 и новее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но запрещающая коммерческое применение.

facebook/mms-tts-qxr — модель синтеза речи на языке кичуа Кañарского нагорья (Quichua, Cañar Highland, ISO 639-3: qxr), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и подходит для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка в проекте обучается отдельный чекпойнт. VITS объединяет текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может отличаться; для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Модель facebook/mms-tts-wal-script_latin — система синтеза речи на Wolaytta латинским письмом, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на Wolaytta. Это отдельный языковой чекпойнт проекта MMS-TTS на архитектуре VITS; число параметров — 3,5 млн. Для одинакового результата при повторной генерации требуется фиксированное начальное значение случайного генератора. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

SALMONN-2 8B — открытая аудиоязыковая модель, представленная в репозитории marcoyang/SALMONN-2-8B. Она предназначена для понимания речи, музыки и других аудиозаписей, включая паралингвистические характеристики. Архитектура объединяет аудиоэнкодер SPEAR, многослойный адаптер слияния признаков и Qwen3-8B; в чекпойнт включены объединённые веса Qwen LoRA, аудиоэнкодер, аудиоконнектор и файлы токенизатора. Модель распространяется в формате safetensors и использует библиотеку Transformers с пользовательским кодом модели. Модель подходит для ответов на вопросы об аудио, анализа речи и музыки, а также сравнения нескольких аудиозаписей и мультимодального контекстного обучения. В README указано обучение на 18,2 тыс. часов аудиотекстовых данных и представлены результаты на бенчмарках понимания аудио. Метаданные задают pipeline_tag feature-extraction, однако по описанному назначению пользователя главная задача — генерация текстовых ответов по аудио. Лицензия — Apache-2.0. Для загрузки через Transformers требуется разрешить пользовательский код репозитория; данные README не уточняют поддерживаемые языки, длину контекста или конкретные ограничения качества.

Wataru/sfi_w2v2_distill_ears — модель извлечения признаков из речи, разработанная как расширение wav2vec 2.0 base с независимой от частоты дискретизации свёрткой. Она предназначена для получения речевых представлений из аудио; карточка модели ссылается на статью с подробностями метода. Модель основана на facebook/wav2vec2-base-960h и дообучена, содержит около 113,3 млн параметров, использует архитектуру SfiHuBERTModel и формат safetensors. В метаданных указан английский язык и лицензия MIT. Карточка предлагает использовать Transformers с trust_remote_code=True. Подтверждённое назначение — извлечение признаков; доступные сведения не устанавливают конкретные частоты дискретизации, качество на разных частотах или поддержку транскрибирования как отдельную задачу.

Модель bilalfaye/speecht5_tts-wolof-v0.2 разработана Bilal FAYE и дообучена на базе Microsoft SpeechT5 для синтеза речи из текста на волоф и французском языках. Она использует архитектуру SpeechT5 и собственный токенизатор; дополнительное обучение направлено на улучшение соответствия текста звучанию, произношения и плавности речи на обоих языках. Модель предназначена для многоязычного преобразования текста в речь, голосовых помощников и речевых интерфейсов на волоф и французском, а также для исследований синтеза речи на малоресурсных языках. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Качество синтеза зависит от обучающих данных, редкие и сложные слова могут произноситься неверно. При обучении использовался один голосовой эмбеддинг, поэтому модель может плохо переноситься на другие голосовые профили.