I.9Аудио и музыка

facebook/mms-tts-tgk — модель синтеза речи на таджикском языке, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и подходит для озвучивания таджикских текстов и создания речевых интерфейсов. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждой языковой версии MMS обучается отдельный чекпойнт. Она доступна через библиотеку Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; результат генерации недетерминирован, поэтому для повторяемого вывода нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и запрещает коммерческое использование.

facebook/mms-tts-urd-script_latin — модель синтеза речи на урду латинским письмом из проекта Massively Multilingual Speech, разработанного Facebook. Это отдельный языковой чекпойнт семейства VITS с архитектурой сквозного преобразования текста в речевую волну; модель содержит 3,5 млн параметров и доступна в Transformers. Она предназначена для озвучивания текста на урду латинским письмом. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

TutlaytAI/wav2vec2-berber — модель автоматического распознавания речи, созданная дообучением TifinLab/wav2vec2-berber. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров; веса опубликованы в формате safetensors. Модель предназначена для преобразования аудиозаписей на берберских языках в текст, включая кабильский и центральноатласский тамазигхт. В метаданных указаны датасеты Common Voice 17.0 и TutlaytAI/tamazight_asr. Карточка не содержит подробностей о качестве распознавания, поддерживаемых условиях записи или ограничениях применения. Лицензия в предоставленных данных не указана.

Модель infinitejoy/wav2vec2-large-xls-r-300m-breton — версия wav2vec2-xls-r-300m, дообученная для автоматического распознавания речи на бретонском языке. Она построена на архитектуре Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. Обучение проводилось на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - BR; в карточке приведены метрики оценки: loss 0,6102 и WER 0,4455. Модель подходит для преобразования записей речи на бретонском языке в текст. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Показатель WER указывает на существенные ошибки распознавания, поэтому качество на конкретных записях следует оценить отдельно.

Модель lucio/wav2vec2-large-xlsr-kinyarwanda-apostrophied разработана Lucio и представляет собой дообученную для распознавания речи на киньяруанда модель facebook/wav2vec2-large-xlsr-53. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, обученная на части Common Voice; для входной речи требуется частота дискретизации 16 кГц. Модель преобразует аудио на киньяруанда в текст и пытается расставлять апострофы, обозначающие слияния местоимений со словами, начинающимися с гласной. В README для тестовых данных Common Voice приведён результат 39,92%; апострофы могут расставляться чрезмерно часто. Лицензия — Apache-2.0.

Это акустическая модель распознавания речи на базе Wav2Vec 2.0 Large LV-60, подготовленная Qiantong Xu, Alexei Baevski и Michael Auli и дообученная на многоязычном Common Voice. Модель имеет архитектуру Wav2Vec2ForCTC и около 403,1 млн параметров; репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт последовательность фонетических меток для нескольких языков. Её используют для фонемного распознавания, в том числе при переносе между языками; чтобы получить слова, выходные метки нужно преобразовать с помощью словаря соответствий фонем и слов. Карточка описывает именно фонетический выход, поэтому готовую орфографическую транскрипцию модель напрямую не гарантирует.

tettoewai/whisper-burmese-myanify — модель распознавания речи на архитектуре Whisper, разработанная на основе дообучения tettoewai/whisper-burmese-myanify. Она предназначена для преобразования аудио в текст; заявленная оценка на наборе для проверки: loss 0,4011 и CER 0,5333. Модель содержит 153,1 млн параметров, использует библиотеку Transformers и представлена в формате safetensors. Карточка не сообщает состав обучающих данных и подробности применения. По названию модель ориентирована на бирманский язык, однако конкретные языковые характеристики не описаны. Условия лицензии в предоставленных данных отсутствуют.

WayneLinn/Whisper-Cantonese — модель распознавания речи, созданная дообучением openai/whisper-small на наборе Common Voice 11.0. Она предназначена для преобразования кантонской речи в текст. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров; опубликованные веса представлены в формате PyTorch. В карточке приведены результаты оценки: WER 60,0485 и loss 0,3030. Высокое значение WER указывает на существенные ошибки распознавания, поэтому качество транскрипции может быть ограниченным. Модель выпущена под лицензией Apache-2.0.

Модель kpriyanshu256/whisper-medium-as-400-32-1e-05-bn — дообученная версия мультиязычной модели распознавания речи OpenAI Whisper Medium. Она предназначена для преобразования аудиозаписей в текст, с настройкой на датасете Common Voice 11.0; название карточки указывает на ассамию. Модель содержит 455,8 млн параметров, построена на архитектуре Whisper и опубликована в формате PyTorch. В карточке приведён результат оценки на тестовой выборке: WER 58,7981 и loss 1,0825. Высокий WER указывает на возможные ошибки распознавания, поэтому качество для конкретных записей стоит проверять отдельно. Лицензия — Apache-2.0.

EAT-large Epoch 20 — предварительно обученный аудиотрансформер, опубликованный пользователем worstchan. Модель обучена на наборе AS-2M с помощью метода самоконтролируемого обучения EAT и предназначена для извлечения признаков из аудио, а также для использования в качестве начальной точки при дообучении на задачах понимания аудио, включая классификацию и создание подписей к аудио. Модель формирует представления на уровне кадров с частотой около 50 Гц и представление всего высказывания через CLS-токен. Для загрузки и извлечения признаков используется библиотека Transformers; веса доступны в формате safetensors. Лицензия — MIT. Чекпойнт может быть полезен как основа для последующих аудиозадач, однако сам по себе ориентирован на получение признаков, а не на генерацию речи или текстовых ответов. README не описывает ограничения качества или конкретный перечень поддерживаемых языков.

KaniTTS English — разработанная командой nineninesix модель синтеза речи на основе LFM2 с 460 млн параметров. Она преобразует текст в аудио через двухэтапный конвейер: языковая модель генерирует сжатые аудиотокены, а нейрокодек синтезирует из них звуковую волну. Модель рассчитана на английский язык, частоту дискретизации 22 кГц и контекст до 128 000 токенов. Модель предназначена для озвучивания ответов чат-ботов и голосовых помощников в реальном времени, а также для экранных дикторов и приложений изучения языков. В опубликованных тестах на GPU RTX 5090 и RTX 4080 скорость синтеза составляла примерно в пять раз выше реального времени; эти показатели зависят от оборудования и конфигурации. Для входных фрагментов длиннее 15 секунд качество работы снижается, поэтому рекомендуется делить их на части. Выразительность при передаче эмоций ограничена без дополнительной настройки, возможны смещения в интонациях и произношении. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face обозначают лицензию как other; лицензионные сведения в источниках расходятся. Базовая модель — nineninesix/kani-tts-400m-0.3-pt, от которой этот чекпойнт происходит через дообучение.

Ke-Omni-R — дообученная мультимодальная модель KE-Team на базе Qwen2.5-Omni-3B для рассуждений по аудио и ответов на вопросы о звуках, музыке и речи. В карточке описано обучение с GRPO на 10 тысячах примеров, взятых из AVQA и MusicBench, и краткий внутренний процесс рассуждения менее чем из 50 слов. Метаданные указывают архитектуру Qwen2.5 Omni Thinker и формат safetensors. Модель принимает аудио и текстовый запрос и формирует текстовый ответ. В README приведены результаты на бенчмарке MMAU и метрики распознавания речи на тестах WenetSpeech и LibriSpeech; результаты зависят от набора данных и не гарантируют аналогичное качество в иных условиях. Указана лицензия Apache-2.0.

Kokoro TTS for AX650 NPU — это вариант модели Kokoro-82M, подготовленный для запуска на NPU AX650; карточка описывает развёртывание с Python и C++ SDK. Конвейер принимает текст, обрабатывает его через фронтенд espeak-ng/Jieba и синтезирует аудио с частотой 24 кГц. В нём используются три ONNX-компонента: Encoder в формате AXERA U16, F0N в Mixed FP32 и Decoder в S16; этапы HAR и ISTFT выполняются на CPU. Модель предназначена для локального синтеза речи на устройствах с AX650. В README указаны поддержка английского и китайского фронтендов и RTF 0,10 для Python SDK. Опубликованная сборка ограничена одним голосом af_heart; у Decoder в формате S16 на очень коротких фразах остаются искажения. Лицензия — Apache-2.0.

LanguageBind/LanguageBind_Audio_FT — аудиокодировщик из семейства LanguageBind, разработанный авторами проекта LanguageBind. Это полностью дообученная версия, которая сопоставляет аудио с текстом в общем семантическом пространстве и предназначена для оценки сходства аудиозаписи с текстовыми описаниями и классификации аудио по текстовым меткам без отдельного обучения на каждом наборе классов. В основе подхода — выравнивание модальностей через язык; README сообщает о высоких результатах LanguageBind-Audio на пяти датасетах. Модель принимает аудио и текстовые описания и выдаёт их представления для вычисления сходства. Метаданные указывают архитектуру CLIPModel и формат PyTorch; заявлена лицензия MIT. Карточка описывает семейство и способ применения, но не приводит для этого чекпойнта конкретные размер, контекст и список поддерживаемых языков. Качество может зависеть от предметной области, формулировок текстовых меток и используемого аудио; результаты на перечисленных в README тестах не гарантируют качество на любых данных.

LFM2-Audio-1.5B — сквозная аудиоязыковая модель Liquid AI для диалогов в реальном времени и задач преобразования речи. Она объединяет языковую модель LFM2 с аудиоэнкодером FastConformer и RQ-трансформером, который генерирует аудио в виде дискретных токенов Mimi. В карточке указано 1,5 млрд параметров для модели в целом; языковая основа содержит 1,2 млрд параметров, а аудиоэнкодер — 115 млн. Основа использует гибридную архитектуру свёрточных слоёв и attention. Модель принимает аудио и может отвечать аудио, текстом или чередовать оба формата. Режим чередующейся генерации предназначен для разговорных сценариев с низкой задержкой, а последовательная генерация подходит для распознавания речи и синтеза речи. Поддерживается английский язык. Для работы предусмотрена библиотека liquid-audio с демонстрационным интерфейсом Gradio. Модель разработана Liquid AI. В README приведены результаты сравнительных оценок диалоговых и ASR-возможностей, но фактическое качество зависит от сценария и данных. Репозиторий содержит веса safetensors и указанную лицензию other; конкретные условия лицензии следует проверять в карточке модели.

Matcha-TTS от сообщества LiteRT — англоязычная модель синтеза речи для локального запуска на Android и в браузере. Это конверсия официальных чекпойнтов Matcha-LJSpeech и HiFi-GAN в формат LiteRT TFLite с весами fp16. Акустическая модель использует conditional flow matching, а вокодер HiFi-GAN работает во временной области, без FFT и обратного STFT. Синтез рассчитан на голос из набора LJSpeech, частота аудио — 22,05 кГц. Модель принимает текст, преобразованный в фонемы, а на выходе формирует аудиоволну. В конвейере используются G2P для преобразования текста в фонемы, текстовый энкодер, декодер Matcha с несколькими шагами Euler ODE и вокодер. Энкодер и вокодер могут работать на GPU, тогда как декодер для корректной работы на описанной Android-конфигурации запускается на CPU. В README приведены реализации для Android, iOS и браузера; заявленные показатели скорости зависят от устройства и вычислительного бэкенда. Репозиторий распространяется по лицензии MIT. Ограничения включают поддержку английского языка и голоса LJSpeech, фиксированные размеры графов (до 256 фонем и 512 мел-кадров, примерно 5,9 секунды аудио на фрагмент), а также известную ошибку слияния операций GPU-декодера на Mali; некоторые браузерные GPU-вычисления также дают результаты, отличающиеся от CPU.

facebook/mms-tts-abi — модель синтеза речи на языке абиджи, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на абиджи в речевую аудиоволну и предназначена для создания озвучивания и речевых интерфейсов для этого языка. Модель основана на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи; для повторения одинакового результата требуется фиксировать seed. Лицензия CC BY-NC 4.0.

facebook/mms-tts-ful — модель синтеза речи на языке фула, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на фула в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о качестве синтеза и поддержке других языков в карточке нет.

facebook/mms-tts-hyw — модель синтеза речи на западноармянском языке (hyw), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный контрольный набор VITS, обученный для одного языка; модель преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль, текстовый энкодер на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Размер модели — 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на западноармянском, включая приложения синтеза речи и голосового вывода. Стохастический предиктор позволяет получать разные ритмические варианты одной фразы; результат генерации недетерминирован, поэтому для воспроизводимого аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

facebook/mms-tts-kik — модель синтеза речи на языке кикуйю (код kik) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кикуйю. Модель основана на архитектуре VITS, работает сквозным образом и содержит стохастический предиктор длительности, поэтому может по-разному задавать ритм одной и той же фразе. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель рассчитана на синтез речи только на кикуйю. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-kjh — модель синтеза речи на хакасском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания хакасских текстов. Модель использует архитектуру VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tly — модель синтеза речи на языке талыш, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на талышском языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза речи он сочетает текстовый энкодер, вероятностное моделирование длительности и декодер аудиосигнала. Модель доступна через библиотеку Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

cswk/sayit-asr-gguf — это набор GGUF-весов для локального автоматического распознавания речи (ASR), используемый приложением SayIt для Windows, разработанным как open-source приложение для голосового ввода. Репозиторий поддерживается авторами SayIt, но сами модели не обучались ими: это неизменённые конверсии моделей NVIDIA и Alibaba FunAudioLLM и Qwen, переопубликованные из репозитория handy-computer. В состав входят Parakeet, SenseVoice, Nemotron, Fun-ASR Nano и Qwen3-ASR в нескольких вариантах квантования и размерах. Набор предназначен для диктовки, голосового ввода и преобразования речи в текст на потребительском оборудовании через runtime transcribe.cpp. Поддерживаются разные сценарии: Parakeet оптимален для быстрого распознавания английской речи, SenseVoiceSmall требует минимальный объём памяти, Fun-ASR-Nano подходит для китайской диктовки, а Nemotron и Qwen3-ASR предлагают более широкое языковое покрытие. В зависимости от файла доступны английский, китайский, японский, корейский, кантонский и другие языки; для отдельных моделей заявлена поддержка до 30 и более языковых вариантов или 32 локалей. Файлы имеют размер от 253 МБ до 1,52 ГБ, используют квантование Q4_K_M, Q5_K_M или Q8_0 и требуют примерно от 0,35 до 2,6 ГБ оперативной памяти во время работы. Ключевое ограничение — это не единая модель, а набор специализированных вариантов с разной точностью, скоростью, языками и требованиями к памяти; например, Parakeet предназначен только для английского и возвращает пустую строку на китайской речи. GGUF-файлы совместимы с transcribe.cpp и несовместимы с llama.cpp и whisper.cpp. Лицензия указана как mixed-upstream-licenses: условия использования зависят от лицензий исходных моделей и компонентов.

Vakyansh — модель автоматического распознавания речи на основе Wav2Vec2ForCTC, разработанная командой Vakyansh при поддержке Ekstep Foundation. Она дообучена на многоязычной предварительно обученной модели CLSRIL-23 и предназначена для преобразования речи на тамильском языке в текст. Веса представлены в формате PyTorch; число параметров — около 113,3 млн. Для распознавания аудио должно быть записано с частотой дискретизации 16 кГц. Модель работает без языковой модели, поэтому в некоторых случаях может давать повышенную частоту ошибок слов. README сообщает об обучении на 4200 часах размеченных данных на хинди, что расходится с тамильским языком в метаданных и идентификаторе репозитория; описанные в карточке результаты оценки относятся к тесту на хинди и не подтверждают качество для тамильской речи. Лицензия — MIT.

eugenetanjc/wav2vec2-base-timit-demo-google-colab — модель распознавания речи на базе архитектуры wav2vec2, дообученная из facebook/wav2vec2-base-960h. Она предназначена для преобразования аудиоречи в текст. Модель содержит 113,3 млн параметров; в репозитории доступны веса PyTorch. Карточка называет её демонстрационной, но не описывает обучающие данные, оценку качества или конкретные сценарии применения. Лицензия — Apache-2.0.

wav2vec2-large-xls-r-300m-assamese — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice 7.0. Она принимает аудио и преобразует речь на ассамском языке в текст; архитектура основана на Wav2Vec2ForCTC, число параметров — около 402,7 млн. Модель предназначена для автоматической транскрипции ассамской речи. В карточке приведены результаты оценки на тестовом наборе: WER 0,795 и CER 0,323, что указывает на существенные ошибки распознавания. Лицензия — Apache-2.0.

DrishtiSharma/wav2vec2-xls-r-pa-IN-a1 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для пакистанского варианта языка пакистанский панджаби. Это плотная архитектура Wav2Vec2ForCTC на 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. На оценочной выборке указаны loss 1,1508 и WER 0,4908. Модель подходит для транскрибации речи на пакистанском панджаби, например записей и голосовых сообщений. Опубликована в формате PyTorch под лицензией Apache-2.0. Указанный WER свидетельствует о заметных ошибках распознавания; карточка не приводит дополнительных сведений о надёжности на других источниках аудио и в иных условиях записи.

Aniemore/wavlm-emotion-v1-crosslingual — модель распознавания эмоций в речи, разработанная Aniemore на архитектуре WavLMForSequenceClassification. Она дообучена на смеси 27 939 аудиофрагментов из восьми языков и трёх речевых регистров, чтобы распознавать эмоции в том числе в спонтанной речи. Модель относит аудио к семи категориям: гневу, отвращению, энтузиазму, страху, радости, нейтральному состоянию и грусти. Размер — 402,7 млн параметров; принимает аудио и выдаёт метки классов. Поддерживаемые языки: русский, английский, немецкий, польский, итальянский, французский, испанский и бенгальский. На тесте спонтанной русской речи macro-F1 составил 0,3633, а на тесте CAMEO для семи нерусских языков — 0,5048; авторы предупреждают, что результаты CAMEO не доказывают переносимость между языками из-за особенностей разбиения данных. На тесте актированной русской речи результат ниже, чем у предыдущей версии, поэтому для чтения или сыгранной речи она может подойти хуже. В репозитории доступны уменьшенные варианты int8, fp8 и int4. Модель распространяется по лицензии MIT; README отмечает, что лицензия наследуется от microsoft/wavlm-large.

Flo976/whisper-malagasy-medium — модель распознавания речи, созданная разработчиком проекта Milo Voice на основе openai/whisper-medium и дообученная на 149 часах аудио на малагасийском языке. Модель принимает аудио и выдаёт его расшифровку текстом; для запуска предусмотрена библиотека Transformers. В репозитории указано 455,8 млн параметров, а для инференса на GPU описан режим FP16. Модель предназначена для расшифровки малагасийской речи, например записей встреч и интервью, автоматического создания субтитров и голосовых приложений. На валидационной выборке автор сообщает WER 20,78%; результаты могут меняться в зависимости от качества записи и диалекта. Обучение преимущественно охватывало официальный диалект Мерина; работа с прибрежными диалектами не оценивалась. Модель не предназначена для перевода, диаризации, идентификации говорящих или потоковой транскрипции. Сильный фоновый шум, длинные записи, региональные имена и специализированные термины могут ухудшать точность; тестировались аудиосегменты до 30 секунд. Лицензия репозитория — AGPL-3.0.

Adnan666/whisper-small-pashto-run11-cv24only — дообученная Adnan666 модель распознавания речи на базе openai/whisper-small. Она предназначена для преобразования речи в текст; название указывает на настройку для пушту, однако сведения о языке и обучающем наборе в карточке не подтверждены. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и распространяется в формате Safetensors через Transformers. В карточке приведены результаты оценки: loss 1,0145 и WER 49,0943; дополнительного описания сценариев применения и ограничений автор не предоставил. Лицензия — Apache-2.0.