I.9Аудио и музыка

facebook/mms-tts-gnd — модель синтеза речи на языке зульго-гемзек (Zulgo-Gemzek, код gnd), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка из набора MMS-TTS. Модель использует архитектуру VITS и преобразует входной текст в речевую аудиоволну. Она обучается сквозным образом и включает стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом; для повторяемой генерации требуется фиксировать seed. В метаданных указано 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для генерации речи на зульго-гемзек, например для озвучивания текста и голосовых интерфейсов на этом языке. Она не является универсальной многоязычной моделью синтеза речи. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-mbh — модель синтеза речи на мангсенге (mbh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на мангсенге в речевую аудиоволну и подходит для озвучивания фраз и создания речевых примеров на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль, трансформерный текстовый энкодер, декодер в стиле HiFi-GAN и стохастический предсказатель длительности. Размер — 3,5 млн параметров. Модель работает с текстом на входе и аудио на выходе; для повторяемого результата генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Репозиторий содержит веса PyTorch и Safetensors, а использовать модель можно через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-mfi — модель синтеза речи на языке Wandala (mfi), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Wandala в речевой сигнал и предназначена для озвучивания текста в приложениях и экспериментах с речевыми технологиями для этого языка. Модель использует архитектуру VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer и декодер, формирующий аудиоволну. Для одного языка обучается отдельный чекпойнт; генерация стохастическая, поэтому для повторяемого результата нужен фиксированный seed. В репозитории указаны веса PyTorch и Safetensors, размер — 3,5 млн параметров. Для работы доступна библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями и требует атрибуции.

facebook/mms-tts-pxm — модель синтеза речи для языка Mixe, Quetzaltepec (pxm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер, flow-модуль и декодер на основе HiFi-GAN. Стоимость модели составляет 3,5 млн параметров. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; фиксированный seed обеспечивает воспроизводимость. Для работы доступна библиотека Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на Mixe, Quetzaltepec и создания речевых интерфейсов для этого языка. Карточка не описывает дополнительные языки, голоса или ограничения качества. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-xsu — модель синтеза речи на языке санума (xsu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на санума в речевой аудиосигнал и подходит для озвучивания фраз и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; VITS синтезирует речь сквозным образом и использует стохастический предиктор длительности, поэтому при одинаковом тексте результат может различаться. Для повторяемого синтеза требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Xcodec2 — нейронный аудиокодек, совместимая с Transformers версия X-Codec2, представленного в работе Llasa. Модель кодирует аудио в компактные дискретные токены для использования в конвейерах синтеза речи и генерации аудио на основе больших языковых моделей. Архитектура объединяет семантические и акустические признаки в одном представлении и использует одноэтапную квантизацию Feature-Space Quantization. Семантическая функция потерь при обучении помогает сохранять в токенах языковую и эмоциональную информацию; одномерная последовательность токенов рассчитана на совместную работу с авторегрессионными LLM. Модель принимает аудио; для репозитория указаны архитектура Xcodec2, реализация Transformers, формат Safetensors и контекст 4096 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

Модель griko/gender_cls_svm_ecapa_voxceleb предназначена для бинарной классификации пола говорящего по аудиозаписи. Она разработана на основе SpeechBrain ECAPA-TDNN и SVM-классификатора; в качестве разработчика в материалах указан Gregory Koushnir и соавторы проекта VANPY. Модель поддерживает многоязычные аудиоданные, но конкретный набор языков не указан. На вход подаётся аудиофайл, который преобразуется в монофонический сигнал с частотой дискретизации 16 кГц. ECAPA-TDNN формирует вектор признаков размерностью 192, после чего SVM предсказывает один из двух классов: «male» или «female». Для выделения речи используется SileroVAD, при этом обрабатывается первый найденный голосовой сегмент. Доступны предсказания как для одного файла, так и пакетная обработка. На тестовых данных модель достигла точности 98,9% и F1-меры 0,9885 на VoxCeleb2, точности 92,3% на англоязычном тесте Mozilla Common Voice v10.0 и 99,6% на TIMIT. Модель обучалась на VoxCeleb2 и преимущественно на голосах знаменитостей из интервью на YouTube, поэтому качество может снижаться при иных характеристиках речи, качестве звука и условиях записи. Она поддерживает только бинарную классификацию и не предназначена для представления всего спектра гендерных идентичностей. Лицензия Apache-2.0.

KASEKOR ASR v0.0 — ранний чекпойнт распознавания речи на кхмерском языке, созданный студентом и дообученный на базе openai/whisper-small. Модель принимает аудио и преобразует его в текст; она предназначена для экспериментов с кхмерской транскрипцией, прототипов голосового ввода и дальнейшего дообучения. Используйте max_new_tokens=440, чтобы избежать обрезания длинных расшифровок. В самооценке авторов показатель CER составил 3,74% на подвыборке из 800 высказываний валидационной части при жадном декодировании; WER составил 57,2%, но для кхмерского он плохо отражает качество из-за отсутствия пробелов между словами. Оценка не независима по дикторам: почти все тестовые высказывания принадлежат голосам, встречавшимся при обучении. Данные обучения включали 86 550 высказываний от шести дикторов, поэтому качество на новых голосах, диалектах и шумной записи может снижаться. Модель распространяется по лицензии Apache-2.0.

facebook/mms-tts-cya — модель синтеза речи на языке Chatino, вариант Nopala (код языка cya), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. Поэтому один и тот же текст может звучать с разным ритмом; для повторяемого результата требуется фиксированное случайное зерно. Для каждого языка MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.

Это модель синтеза речи для языка джола-фоньи (dyo), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт; для работы с ним доступна библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм синтезированной речи, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель рассчитана на джола-фоньи; качество синтеза для других языков не заявлено.

facebook/mms-tts-hus-dialect_centralveracruz — модель синтеза речи на языке уастек (Huastec), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на варианте языка центрального Веракруса. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. VITS объединяет текстовый энкодер, вероятностную модель длительности и декодер речи в сквозной системе синтеза; стохастический предиктор длительности позволяет получать разные ритмические варианты произношения. Для работы с моделью подходит библиотека Transformers версии 4.33 и новее. Одинаковый результат генерации требует фиксированного seed. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для одного языкового варианта; качество и область применимости за пределами синтеза речи на уастек в карточке не описаны.

facebook/mms-tts-xta — модель синтеза речи для языка Mixtec, Alcozauca (xta), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучки и интеграции синтеза речи в приложения для носителей языка. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером, формирующим аудиоволну. Стохастический предсказатель позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксировать seed. Чекпойнт доступен в Transformers версии 4.33 и новее. Модель ориентирована на текст и речь на Mixtec, Alcozauca; сведений о поддержке других языков нет. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Качество и применимость зависят от языка и обучающих данных; в карточке не приведены количественные оценки качества.

facebook/mms-tts-zar — модель синтеза речи на языке сапотек, вариант Ринкон (код zar), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; для синтеза применяются стохастический предиктор длительности и декодер, основанный на HiFi-GAN. Из-за стохастической генерации для повторяемого результата требуется фиксировать seed. Для работы доступна библиотека Transformers версии 4.33 и новее. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает поддержку сапотекского языка Ринкон; качество и возможности для других языков не заявлены.

Это официальная версия токенизатора речи EMOVA, разработанного для обучения моделей серии EMOVA. Модель использует архитектуру EMOVASpeechTokenizer и представлена в формате safetensors; её основа — Emova-ollm/emova_speech_tokenizer. В описании заявлена лицензия Apache-2.0. Токенизатор преобразует китайскую и английскую речь в дискретные речевые единицы: модуль SPIRAL кодирует фонетическую и тональную информацию, а FSQ квантует результат. Отдельный декодер на основе VITS восстанавливает речевой сигнал из единиц. Семантическое содержание отделено от акустического стиля, что поддерживает выравнивание речи с представлениями языковой модели и управление голосом, высотой тона и эмоциями — всего заявлено 24 сочетания стиля. Модель предназначена прежде всего для токенизации речи и использования речевых токенов при обучении и работе мультимодальных моделей. README подтверждает китайский и английский языки. Для запуска описана установка окружения EMOVA; проверена работа на GPU NVIDIA A800/H20 и NPU Ascend 910B3, а доступность на других устройствах не подтверждена.

facebook/mms-tts-bvz — модель синтеза речи на языке баузи (Bauzi, bvz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на баузи в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт; в метаданных указано 3,5 млн параметров. Система работает сквозным образом: кодирует текст, предсказывает длительность и акустические признаки, а затем генерирует аудиоволну. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для баузи; качество синтеза для конкретных текстов в карточке не оценено.

facebook/mms-tts-hoy — модель синтеза речи на языке Holiya (код hoy), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Holiya в речевую аудиоволну и подходит для озвучивания коротких текстов и приложений с голосовым выводом на этом языке. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом, а стохастический предсказатель длительности позволяет получать варианты ритма речи. Для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства в рамках её условий, но ограничивает коммерческое применение. Модель предназначена для синтеза речи на Holiya; качество для других языков не заявлено.

facebook/mms-tts-kmu — модель синтеза речи на языке Kanite (kmu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kanite. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Веса содержат 3,5 млн параметров и доступны в форматах PyTorch и Safetensors; модель можно использовать через Transformers версии 4.33 и выше. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для одного языка и не подходит для синтеза речи на других языках.

facebook/mms-tts-lis — модель синтеза речи на языке лису (Lisu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на лису в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Она содержит около 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста; поэтому результат может меняться между запусками, а для воспроизведения того же аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое. Модель предназначена для лису; качество синтеза для других языков не заявлено.

facebook/mms-tts-xer — модель синтеза речи на языке Xerénte (код xer), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Xerénte. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, декодером и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров; для каждого языка проекта MMS обучается отдельная модель. Доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения, поэтому результат может меняться между запусками; для воспроизводимой генерации требуется фиксированное начальное значение случайного генератора. Модель специализирована на Xerénte, поэтому её не следует считать многоязычной.

facebook/mms-tts-xtd — модель синтеза речи на языке Mixtec, диалект Diuxi-Tilantongo (код xtd), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных для приложений на языке Mixtec. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторения результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи на указанном языке; сведений о поддержке других языков в карточке нет.

skytnt/gpt2-japanese-lyric-medium — языковая модель семейства GPT-2 для генерации текстов японских песен. Модель разработана skytnt и обучена на 143 587 японских текстах песен, собранных с сайта uta-net. Модель предназначена для создания японских песенных текстов по текстовому запросу. Это плотная авторегрессионная модель GPT2LMHeadModel; она поддерживает генерацию текста на японском языке с контекстом до 1024 токенов. Модель распространяется под лицензией MIT. Её обучение на текстах песен означает, что генерации могут воспроизводить стилистические особенности или фрагменты исходных текстов; карточка не приводит оценок качества или дополнительных ограничений.

facebook/mms-tts-gym — модель синтеза речи на языке нгабере (Ngäbere, код gym) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания голосовых сообщений на нгабере. Модель использует архитектуру VITS: текстовый энкодер, вероятностные потоки, предиктор длительности и декодер, который формирует аудиоволну. Чекпойнт содержит 3,5 млн параметров, распространяется в форматах PyTorch и Safetensors и доступен через Transformers версии 4.33 и новее. Для одного и того же текста синтез может различаться; фиксированный seed позволяет повторить результат. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства в некоммерческих целях. Модель предназначена для нгабере; карточка не описывает поддержку других языков или дополнительные функции синтеза.

facebook/mms-tts-kay — модель синтеза речи на языке Kamayurá (kay), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания фраз на Kamayurá. Модель построена на архитектуре VITS: это сквозная система синтеза с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем, предсказателем длительности и декодером, основанным на HiFi-GAN. Размер модели — 3,5 млн параметров; доступна в форматах PyTorch и Safetensors, используется через Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Предсказатель длительности стохастический, поэтому генерация недетерминирована; для повторения того же результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-kog — модель синтеза речи на языке Kogi (код kog), созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kogi. Модель использует архитектуру VITS: вариационный автоэнкодер с потоковым модулем, трансформерным текстовым энкодером, декодером HiFi-GAN и стохастическим предсказателем длительности. Для MMS обучается отдельная модель на каждый язык; размер этого чекпойнта — 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Генерация недетерминирована: для повторения того же результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка не сообщает о голосовом клонировании или поддержке других языков.

facebook/mms-tts-kpq — модель синтеза речи на языке Korupun-Sela (kpq), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка: модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-кодировщик текста, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers. Модель предназначена для озвучивания текста на Korupun-Sela. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

NVIDIA NeMo NanoCodec 22 кГц, 0,6 кбит/с, 12,5 кадра/с — нейронный аудиокодек для сжатия речи и восстановления аудио. Модель принимает монофонический WAV с частотой 22 050 Гц и выдаёт аудио в том же формате. Это вариант семейства NeMo NanoCodec, разработанный NVIDIA на основе NVIDIA Low Frame-rate Speech Codec; в карточке указано 62 млн параметров. Архитектура включает свёрточные кодировщик и декодировщик на основе HiFi-GAN и конечное скалярное квантование (FSQ). Кодек предназначен для компрессии аудио и может использоваться как компонент обучения моделей генерации речи. Этот вариант специально рассчитан на дообучение с ограниченным числом дикторов и не рекомендуется для универсального кодирования и декодирования. Обучение проводилось на речевых данных из 105 языков; лицензия указана как other, а карточка сообщает о возможности коммерческого и некоммерческого использования.

Карточка модели ct-vikramanantha/phoneme-scorer-v2-wav2vec2 на Hugging Face совпадает с карточкой bookbot/wav2vec2-ljspeech-gruut, поэтому описание составлено по ней. Wav2Vec2 LJSpeech Gruut — модель автоматического распознавания речи, созданная Wilson Wongso на основе Wav2Vec2-Base и дообученная на фонемном датасете LJSpeech Phonemes. Вместо обычной записи слов она предсказывает последовательности фонем из словаря IPA, используемого в gruut. Модель построена на архитектуре wav2vec 2.0 с CTC-выходом, содержит 113,3 млн параметров и принимает аудио, выдавая последовательность фонем. В тесте на LJSpeech Phonemes указаны PER 0,99% без учёта ударения и CER 0,58% без учёта ударения. Она предназначена для английской речи и фонетических сценариев, а не для прямой транскрипции в обычный текст. Модель реализована на PyTorch и опубликована в форматах PyTorch и safetensors. Лицензия — Apache-2.0. В README отмечено, что унаследованные от предварительного обучения смещения могут влиять на результаты; приведённые метрики относятся к тестовой выборке LJSpeech Phonemes.

slprl/slam_scaled — речевая языковая модель SLP-RL, представленная в исследовании Slamming: Training a Speech Language Model on One GPU in a Day. Она дообучена на основе Qwen/Qwen2.5-0.5B и генерирует продолжения речи в виде дискретных токенов HuBERT, извлечённых из 11-го слоя mhubert-25hz. Модель принимает аудио и предназначена для продолжения речевых фрагментов, а также для дальнейшей настройки под речевые задачи. Обучение включало предсказание следующего токена на части LibriSpeech, Libri-Light и синтетическом наборе sTinyStories, а затем DPO-настройку на SpokenSwag. Контекст составляет 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — MIT. В README указано, что обучение этой модели выполнялось на двух GPU Nvidia A100 в течение 48 часов.

arbml/whisper-tiny-ar — модель распознавания речи на архитектуре Whisper, дообученная на датасете Common Voice 11.0. Она предназначена для преобразования аудиозаписей в текст; в метаданных для неё указан язык хинди. Модель содержит 29,4 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки на тестовой выборке: loss 1,5989 и WER 83,4696. Это указывает на ограниченное качество распознавания в описанной оценке; дополнительных сведений о сценариях применения и ограничениях автор не предоставил.

facebook/mms-tts-hto — модель синтеза речи на языке Minika (Witoto), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на Minika в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом, а стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает синтез речи для Minika; сведения о качестве и иных языках применения не заявлены.