I.9Аудио и музыка

AlienKevin/whisper-base-jyutping-without-tones-full — дообученная модель OpenAI Whisper Base для распознавания речи. Она обучена на наборе Common Voice 14.0 и настроена на вывод Jyutping без тоновых обозначений. Модель содержит 51,7 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Модель предназначена для распознавания кантонской речи и записи её произношения латиницей в Jyutping без тонов. В README приведены результаты на оценочном наборе: loss 0,0907 и WER 9,6974. Распространяется по лицензии Apache-2.0.

Whisper-Hindi2Hinglish-Apex — модель распознавания речи от Oriserve, дообученная на базе openai/whisper-large-v3-turbo. Она преобразует речь на хинди в текст на хинглише — хинди, записанный латиницей, часто с английскими словами. Модель построена на архитектуре Whisper, содержит около 905 млн параметров и принимает аудио; карточка описывает настройку для шумной речи с индийским акцентом. По заявлению разработчиков, модель обучалась на примерно 700 часах аудио на хинди и показала улучшение среднего результата примерно на 42% относительно исходной предобученной модели на использованных бенчмарках. Она предназначена для транскрибирования разговоров и аудиозаписей на хинди в хинглиш; для запуска описано использование Transformers и OpenAI Whisper. В README также заявлено первое место в Speech-To-Text Arena, однако приведённые таблицы сравнивают результаты на отдельных наборах данных, а метрики WER рассчитаны по эталонным транскрипциям, предварительно транслитерированным в хинглиш. Модель распространяется под лицензией Apache-2.0. Карточка не приводит ограничений на длительность контекста; качество для языков и условий, отличных от шумной речи на хинди с индийским акцентом, не подтверждено описанными результатами.

Это дообученная модель OpenAI Whisper Small, созданная kalilouisangare для распознавания речи на бамбара. Она преобразует аудио в текст и предназначена для транскрибации записей на бамбара; модель обучена на 24 738 аудиопримерах из набора RobotsMali/bam-asr-early. В метаданных указаны архитектура Whisper, 153,1 млн параметров и формат safetensors; README сообщает о контекстном окне генерации 128 токенов. На полном тестовом наборе из 7 069 примеров автор приводит WER 43,70% и CER 21,38%, поэтому ошибки распознавания могут быть существенными и результат может требовать проверки и исправления. Лицензия — CC BY 4.0.

sanchit-gandhi/xtreme_s_xlsr_2_bart_covost2_fr_en_2 — модель распознавания речи на основе архитектуры SpeechEncoderDecoderModel. В карточке указано, что модель обучена с нуля на наборе xtreme_s; метаданные подтверждают поддержку задачи automatic-speech-recognition и входных аудиоданных. Модель предназначена для преобразования речи в текст. README приводит результаты оценки: loss 1,7768 и BLEU 0,0000, однако не раскрывает описание модели, сценарии применения или детали обучающих данных. Идентификатор модели указывает на вариант для направления французский—английский, но README и метаданные не подтверждают язык входа и выхода. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют.

Bambara TTS — модель синтеза речи на бамбарском языке (Bamanankan), разработанная sudoping01 на базе Facebook/Meta MMS. Она преобразует текст в аудио и предназначена для озвучивания текста на бамбарском; в README отмечено, что на языке говорят преимущественно в Мали. Модель использует архитектуру VITS, содержит 3,5 млн параметров и распространяется в формате Safetensors. README указывает частоту дискретизации 16 кГц и возможность работы на CPU при рекомендуемых 4 ГБ оперативной памяти. Модель рассчитана на стандартную орфографию бамбарского. Её ограничения включают нестабильную обработку заимствований и переключения на французский, различия в качестве между региональными диалектами, а также ограниченные просодию и эмоциональную выразительность. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.

KaniTTS 450M 0.1 FT — дообученная модель синтеза речи от nineninesix на базе KaniTTS 450M 0.1 PT. Она использует двухэтапную архитектуру: языковая модель LFM2 генерирует сжатое представление аудио, которое NanoCodec преобразует в звуковую волну. В репозитории указаны 460 млн параметров, формат safetensors и контекст 128 000 токенов. Модель предназначена для преобразования текста в речь, в том числе для голосовых интерфейсов, чат-ботов, приложений доступности и развёртывания с низкой задержкой. Основной язык обучения — английский; карточка также заявляет поддержку английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. README сообщает о генерации аудио с частотой 22 кГц и приводит оценку естественности MOS 4,3/5. Лицензия в метаданных указана как other, а README заявляет Apache 2.0 и перечисляет ограничения на запрещённое и вводящее в заблуждение использование; лицензионные условия следует сверить с файлами репозитория. К заявленным ограничениям относятся ухудшение качества на длинных входах свыше 2000 токенов, редких языках и акцентах, базовое управление эмоциями и возможные смещения произношения и просодии из обучающих данных.

facebook/mms-tts-aca — модель синтеза речи на языке ачагуа (aca), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на ачагуа. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, формирующий аудиосигнал. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и safetensors. Для воспроизводимого результата требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Модель доступна через Transformers версии 4.33 и выше и лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-aha — модель синтеза речи на языке аханта (aha), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на аханта в речевую аудиоволну и предназначена для озвучивания текста и разработки речевых интерфейсов для этого языка. Модель использует архитектуру VITS: энд-ту-энд систему синтеза с вариационным автоэнкодером, потоковым модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. Размер модели — 3,5 млн параметров. Отдельный чекпойнт MMS-TTS обучен для каждого языка; для повторяемого результата генерации требуется фиксированное начальное значение случайного генератора. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-hap — модель синтеза речи на языке Hupla (код hap), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на Hupla. Это отдельный языковой чекпойнт семейства VITS: компактная модель с 3,5 млн параметров, построенная как сквозная система text-to-speech с вариационным автоэнкодером, потоком преобразования признаков и декодером аудио; стохастический предиктор длительности позволяет получать варианты ритма, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна в Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

facebook/mms-tts-jac — модель синтеза речи на языке якальтеко (Jakalteko), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка проекта обучен отдельный чекпойнт. Модель использует архитектуру VITS и обучается сквозным образом: текстовый энкодер, потоковый модуль и декодер формируют аудиосигнал, а стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — около 3,5 млн параметров. Чекпойнт доступен для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на якальтеко. Из-за стохастической генерации одинаковый текст может давать разные варианты речи; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

facebook/mms-tts-mam-dialect_northern — модель синтеза речи на северном диалекте языка мам, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на северном диалекте мам, например для речевых интерфейсов и создания аудиоверсий текстов. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; для повторения результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-vag — модель синтеза речи на языке вагла (Vagla, код ISO 639-3: vag), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на вагла. Модель доступна через библиотеку Transformers версии 4.33 и новее. В основе лежит архитектура VITS: модель предсказывает речь сквозным образом, используя текстовый энкодер, вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. В репозитории указано 3,5 млн параметров. Предиктор длительности стохастический, поэтому для повторения результата требуется фиксированное случайное зерно. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

WueNLP публикует выделенный речевой энкодер из SeamlessM4Tv2-Large. Это плотная архитектура SeamlessM4TSpeechEncoder размером 664,9 млн параметров, доступная в формате safetensors и рассчитанная на использование с Transformers. Модель извлекает представления речи для классификации аудио на уровне последовательностей, в том числе для кросс-языковых и многоязычных задач; карточка также указывает поддержку text-to-speech. Энкодер можно загружать через AutoModel или обёртки для классификации аудио и последовательностей. Метаданные перечисляют языковые коды для многих языков, а длина контекста составляет 4096 токенов. Репозиторий ссылается на результаты SIB-Fleurs и указывает, что исходная модель создана командой SeamlessM4Tv2. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

SPEAR XLarge v1 — модель самоконтролируемого обучения акустическим представлениям, разработанная авторами SPEAR. Она использует архитектуру Zipformer из 13 стеков и содержит 597 млн параметров. На вход принимает аудио с частотой дискретизации 16 кГц и выдаёт 1280-мерные векторы признаков примерно с частотой 50 Гц. Модель предварительно обучена на 197 тыс. часов англоязычной речи и общего аудио, включая акустические сцены и музыку. Она предназначена для извлечения представлений речи и звуков, которые можно использовать как основу для последующего обучения распознаванию речи, тегированию аудио и другим задачам анализа акустических сигналов. В README заявлены высокие результаты на SUPERB и конкурентные результаты на HEAR. Для прикладных задач потребуется дообучение на размеченных данных. Карточка рекомендует для новых проектов SPEAR XLarge v2, у которой заявлены улучшения устойчивости к сложным акустическим сценам. Модель распространяется по лицензии Apache-2.0.

Sulphur 2 Base GGUF — это квантизированная версия модели Sulphur 2 для ComfyUI, разработанная сообществом SulphurAI и опубликованная VantageWithAI. Модель основана на LTX 2.3 и предназначена для генерации видео и аудиовизуального контента. Модель поддерживает преобразование текста в видео (t2v) и изображения в видео (i2v) в нативном режиме, а также другие форматы LTX 2.3: video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio и генерацию комбинированного аудио и видео из текста или изображений. Архитектура, точный размер, поддерживаемые языки, длина контекста и набор модальностей сверх перечисленных в README не указаны. Ключевыми особенностями являются поддержка нескольких сценариев генерации, работа в формате GGUF и ориентация на использование в ComfyUI. README называет модель uncensored, однако не приводит подробностей о методах обучения, качестве, производительности или ограничениях. Модель распространяется по лицензии LTX-2 Community License Agreement; точные условия следует уточнять в тексте лицензии Lightricks.

Teochew Whisper Medium — модель распознавания речи, созданная дообучением Whisper medium для чаошаньского языка (潮州话), относящегося к группе миньнаньских языков и распространённого на юге Китая. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Модель предназначена для преобразования речи на чаошаньском языке в текст. Для дообучения использовано около 35 часов аудиозаписей из фильмов, телепередач и комедийных шоу на этом языке. На закрытом тестовом наборе указана частота ошибок слов (WER) 0,31 для отчётливой речи и 0,68 для разговорной речи. Модель принимает аудио и выдаёт текст. Она обучалась на коротких фрагментах и может хуже распознавать аудио длительностью более 10 секунд. Лицензия — MIT.

addy88/wav2vec2-sanskrit-stt — модель распознавания речи на основе Wav2Vec2, представленная пользователем addy88. Она предназначена для преобразования аудио на санскрите в текст и подходит для получения транскрипций без дополнительной языковой модели. Модель содержит 113,3 млн параметров; в метаданных указаны архитектура Wav2Vec2ForCTC и формат PyTorch. Модель принимает аудио и выдаёт текстовую транскрипцию. Карточка показывает прямое использование без языковой модели, но не сообщает точность распознавания и условия лицензии.

Whisper-Tiny-Myanmar-Partial-Freezing — версия openai/whisper-tiny, дообученная автором thantzinphyo на наборе SLR80: Crowdsourced High-Quality Burmese Speech Dataset. Это компактная модель распознавания речи на архитектуре Whisper с 29,4 млн параметров; она принимает аудио и преобразует его в текст на бирманском языке. В README выбран контрольный чекпойнт на шаге 1 000 с наименьшей указанной долей ошибок символов (CER 19,60%) на валидационной выборке из 252 аудиофрагментов. Модель предназначена для транскрибирования бирманской речи, в том числе записей, подобных аудио из набора SLR80. Её можно запускать через pipeline automatic-speech-recognition в библиотеке Transformers. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Показатель CER получен на небольшой изолированной выборке, поэтому он не гарантирует такое же качество на других записях, условиях записи или типах речи. README не сообщает о поддержке других языков или о проверке модели на более широком наборе сценариев.

facebook/xm_transformer_s2ut_hk-en — модель перевода речи с хоккиенского на английский, разработанная в рамках проекта fairseq. Она использует архитектуру S2UT с однопроходным декодером: принимает речь на хоккиенском и генерирует английскую речь. Для синтеза применяется vocoder-модель facebook/unit_hifigan_mhubert_vp_en_es_fr_it3_400k_layer11_km1000_lj_dur. Модель обучена на размеченных данных из TED, драматических произведений и домена TAT, а также на слабой разметке для драматических данных. Модель предназначена для сквозного речевого перевода, когда нужен аудиовыход на английском без отдельного этапа распознавания текста пользователем. Репозиторий распространяется в формате PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

OpenAI GPT Audio Mini — экономичная версия GPT Audio. В описании упоминается обновлённый декодер, предназначенный для более естественного звучания голосов и лучшей устойчивости голоса. Карточка также указывает цену входа — 0,60 доллара за миллион единиц, но не уточняет тип этих единиц. Метаданные каталога классифицируют модель как распознавание речи. README не описывает формат входа и выхода, языки, размер, контекст или лицензию; поэтому назначение модели можно указать только в пределах этой классификации и краткого описания.

KaniTTS Arabic — дообученная компанией nineninesix модель преобразования текста в речь на основе KaniTTS Pretrain v0.3. Она использует двухэтапную архитектуру: языковая модель генерирует сжатые аудиотокены, а нейрокодек синтезирует из них звуковую волну. Модель насчитывает 460 млн параметров, построена на LFM2, принимает текст на арабском языке и генерирует речь с частотой 22 кГц; заявленное нативное контекстное окно — 128 000 токенов. Модель предназначена для озвучивания диалогов в чат-ботах и голосовых помощниках, экранных дикторов, приложений для изучения языка и серверного синтеза с низкой задержкой. В README приводятся результаты производительности на GPU, включая работу быстрее реального времени, однако качество и скорость зависят от оборудования и сценария. Для входов длиннее примерно 15 секунд рекомендуется разбиение на фрагменты; выразительность эмоций ограничена без дополнительного дообучения. В карточке указана лицензия Apache 2.0, тогда как метаданные обозначают лицензию как other, поэтому условия распространения следует сверить с файлами репозитория.

mHuBERT-147 — компактная мультиязычная модель для извлечения признаков из речи, разработанная авторами проекта UTTER и представленная в работе NAVER LABS Europe. Это третья итерация модели на архитектуре HuBERT base с примерно 113,3 млн параметров по метаданным; README указывает 95 млн параметров. Модель предварительно обучена на 90 тысячах часов аудиоданных с открытыми лицензиями для 147 языков, используя дискретные речевые единицы, полученные с помощью faiss IVF. Модель предназначена для получения речевых представлений, которые можно использовать как основу для последующих задач, включая распознавание речи и определение языка. Авторы сообщают о высоких результатах на ML-SUPERB и новых лучших результатах в трёх задачах определения языка. Репозиторий содержит веса Fairseq и их конверсию для Hugging Face Transformers; здесь опубликован вариант PyTorch/Safetensors. Лицензия — CC-BY-NC-SA-4.0, предусматривающая некоммерческое использование и распространение производных на тех же условиях. Состав данных включает несколько корпусов, и часть файлов CommonVoice впоследствии была удалена по запросам правообладателей.

facebook/mms-tts-bwq — модель синтеза речи из текста для языка бобо-мадаре, южный диалект (код bwq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства MMS-TTS, предназначенный для преобразования текстовой последовательности в речевую волну. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, подобный HiFi-GAN; из-за стохастичности генерации для повторяемого результата требуется фиксировать seed. Модель принимает текст на bwq и выдаёт аудио. Чекпойнт доступен через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ixl-dialect_santamarianebaj — модель синтеза речи на языке иксиль, диалект Санта-Мария-Небах, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Архитектура VITS объединяет текстовый энкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN, а стохастический предиктор длительности позволяет варьировать ритм речи. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на указанном варианте иксильского, например для речевых интерфейсов и создания аудиоверсий коротких текстов. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nhy — модель синтеза речи на языке науатль северной Оахаки (nhy), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для создания озвучки на этом языке. Модель использует архитектуру VITS — сквозную вариационную модель с состязательным обучением и стохастическим предиктором длительности, который позволяет варьировать ритм речи. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Синтез недетерминирован: для повторения результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это модель синтеза речи на языке киче, диалект севера (K’iche’, quc-dialect_north), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на этом варианте языка. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер HiFi-GAN объединены в сквозную систему синтеза. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; его можно использовать через Transformers версии 4.33 и новее. Из-за стохастического предиктора одинаковый текст может давать разные варианты речи; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-stn — модель синтеза речи на языке Owa (stn), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на Owa в речевую аудиоволну и предназначена для озвучивания текста в приложениях и сервисах, которым нужна речь на этом языке. Модель использует архитектуру VITS: это сквозная система на основе условного вариационного автоэнкодера с текстовым энкодером, потоковым модулем, декодером и стохастическим предсказателем длительности. Для MMS обучается отдельный чекпойнт на каждый язык. В метаданных указаны 3,5 млн параметров и поддержка Transformers; модель распространяется в форматах PyTorch и Safetensors. Генерация зависит от случайного предсказания длительности, поэтому для повторяемого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-zaa — модель синтеза речи для языка сапотек, Сьерра-де-Хуарес (zaa), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка; модель принимает текст и генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер в стиле HiFi-GAN, а стохастический предсказатель длительности позволяет варьировать ритм произношения. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на сапотекском языке Сьерра-де-Хуарес, например для речевых интерфейсов и создания аудиоверсий текстов. Для повторения одинакового результата при генерации требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Wav2Vec2 Adult/Child Speech Classifier — модель классификации аудио на основе архитектуры wav2vec 2.0, дообученная Wilson Wongso на закрытом наборе записей речи взрослых и детей. Она принимает аудиозапись и относит её к одному из этих классов. Модель содержит 113,3 млн параметров по метаданным Hugging Face; для обучения использовались PyTorch и вычисления на Tesla P100. В README указана точность 95,80% и F1 0,9618 на наборе Adult/Child Speech Classification. Модель может подойти для автоматической сортировки речевых записей по возрастной категории говорящего. Результаты могут зависеть от состава и условий записи данных; разработчик отдельно предупреждает о возможном влиянии смещений из предварительного обучения. Лицензия — Apache-2.0.

Wav2Vec2-XLSR-53 — многоязычная базовая модель для речи, разработанная Facebook (ныне Meta) на основе архитектуры wav2vec 2.0. Она предварительно обучена на аудиозаписях речи с частотой дискретизации 16 кГц и содержит 402,7 млн параметров. Модель учится извлекать общие межъязыковые представления из необработанной формы звукового сигнала; карточка указывает предобучение на 53 языках и датасет Common Voice. Модель предназначена для дообучения под задачи обработки речи, например автоматическое распознавание речи. После дообучения она может служить основой многоязычных систем распознавания, включая сценарии с ограниченным количеством размеченных данных. Сама базовая модель не является готовой системой транскрибирования: для целевой задачи требуется дообучение. Доступны форматы PyTorch и Flax. Лицензия — Apache-2.0. Для входного аудио требуется частота дискретизации 16 кГц; README не приводит подробностей о качестве по отдельным языкам или ограничениях по длительности записей.