/ Модель

Характеристики

Параметры
3,5 млн
Лицензия
MIT
Архитектура
vits · dense
Базовая модель
mms-tts-div
Библиотека
transformers
Опубликована
6 июн 2024

mms-tts-div-finetuned-md-m01

Генерация аудиоТекст → аудио3 профессии

Модель VITS преобразует текст на дивехи, набранный письмом тхана, в речь мужским голосом.

248скачиваний за 30 дней1лайквеса обновлены12 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Синтез речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

alakxender создал эту модель синтеза речи на основе VITS и Meta MMS-TTS. Она преобразует текст на дивехи, записанный письмом тхана, в аудио с мужским голосом. Модель дообучена на наборе синтетической речи дивехи; размер составляет 3,5 млн параметров, файлы весов представлены в формате safetensors, использовать модель можно через Transformers.

Модель предназначена для озвучивания текста на дивехи. В README приведена оценка UTMOS 3,228 по трём примерам, что указывает на заметный потенциал, но не даёт надёжной оценки качества для разных текстов и условий. Лицензия — MIT.

Сценарии применения

  • озвучивание текста на дивехи
  • создание мужской голосовой озвучки для приложений
  • синтез речи для аудиоматериалов на дивехи

Ограничения

Оценка UTMOS основана всего на трёх примерах и не характеризует качество на широком наборе текстов. Модель рассчитана на дивехи и мужской голос.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Divehi TTS – Male Voice (VITS-based)

This is a fine-tuned VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) model for Divehi speech synthesis. The model produces Male voice audio from Thaana-scripted Divehi text. Fine-tuned from Meta’s MMS-TTS architecture using a curated dataset of synthetic Divehi speech.

Model Details

FieldValue
Model IDalakxender/mms-tts-div-finetuned-md-m01
Base ArchitectureMMS-TTS (VITS)
LanguageDivehi (dv)
VoiceMale
Sampling Rate16 kHz
TokenizerVITSTokenizer
Inference EngineTransformers (🤗 Hugging Face)

Usage

from transformers import VitsModel, VitsTokenizer
import torchaudio

tokenizer = VitsTokenizer.from_pretrained("alakxender/mms-tts-div-finetuned-md-m01")
model = VitsModel.from_pretrained("alakxender/mms-tts-div-finetuned-md-m01")

text = "މޫސުން ވަރަށް ގޯސްވެ، ފުވައްމުލަކުން ފެށިގެން އައްޑުއަށް އޮރެންޖް އެލާޓް ނެރެފި"
inputs = tokenizer(text, return_tensors="pt")
waveform = model.generate(**inputs).waveform[0]

torchaudio.save("output.wav", waveform.unsqueeze(0), 16000)

Evaluation Summary

  • Model: alakxender/mms-tts-div-finetuned-md-m01
  • Evaluated Samples: 3
  • Avg Estimated MOS (UTMOS): 3.228
    {
      "5": "Excellent (very natural)",
      "4": "Good (mostly natural)",
      "3": "Fair (some robotic quality)",
      "2": "Poor (noticeably unnatural)",
      "1": "Bad (unintelligible or very synthetic)"
    }
    
  • Artifacts:
    • 🎵 Audio: outputs/audio/
    • 📊 Spectrograms: outputs/spectrograms/
    • 📄 Report: outputs/report.txt
    • 📈 MOS Scores: outputs/mos_scores.txt

Acknowledgements

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
VitsModel
Ревизия весов
8e9de75

0 моделей