/ Модель

Характеристики

Размер весов
3,1 ГБ
Лицензия
Apache 2.0
Базовая модель
IndicF5
Опубликована
28 июн 2026

vagdhenu

Синтез речиТекст → аудио3 профессии

Vāgdhenu синтезирует классические санскритские песнопения в односпикерном исполнении на основе IndicF5 и BigVGAN-v2.

2 221скачиваний за 30 дней63лайкавеса обновлены28 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vāgdhenu — модель синтеза санскритского песнопения, разработанная автором модели на базе IndicF5. Она предназначена для озвучивания классических санскритских текстов в стиле pā­rāyaṇa — для декламации, учебных материалов и повышения доступности текстов. Модель односпикерная; для синтеза использует архитектуру F5-TTS с flow-matching DiT примерно на 337 млн параметров и вокодер BigVGAN-v2, дообученный на мел-спектрограммах F5. Санскрит подаётся в записи каннада, поскольку деванагари приводит к нежелательному выпадению гласных.

Модель корректно произносит сложные сочетания согласных, включая ретрофлексные придыхательные, а в README для экспертной оценки указана MOS около 4,6. Просодия зависит от аудиопримера: произвольное задание просодии не поддерживается. Ведические svaras модель не синтезирует. Лицензия — Apache-2.0; голос принадлежит автору, поэтому разработчик просит использовать его ответственно и не выдавать синтез за речь другого человека.

Сценарии применения

  • озвучивание санскритских текстов в стиле pā­rāyaṇa
  • создание аудиозаписей для изучения санскритской декламации
  • подготовка доступных аудиоверсий классических санскритских текстов

Ограничения

Модель не синтезирует ведические svaras, а просодия зависит от аудиопримера и не задаётся произвольно. Для санскрита требуется запись каннада; голос односпикерный и принадлежит автору модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vāgdhenu — Sanskrit Chant TTS (weights)

Model weights for Vāgdhenu, a single-speaker Sanskrit chant (pārāyaṇa) TTS. MOS ~4.6 (expert listener); conjuncts including retroflex aspirates render 100% correctly.

Files

filewhat
voice_steer_ema_2026-06-17.ptProduction voice — voice-steered, more reference-responsive (the recommended default).
voice_armA_ema_2026-06-11.ptFallback — reference-driven chant (voice + swara + pace from the reference clip).
voc_bigvgan_EMA_2026-06-11.pthVocoder — NVIDIA BigVGAN-v2 fine-tuned on F5 vocos-mel (mandatory; vocos shivers on long vowels).

The base DiT + vocab.txt come from ai4bharat/IndicF5 (auto-downloaded by the repo's setup).

Architecture

IndicF5 / F5-TTS — flow-matching DiT (OT-CFM mel-infilling, dim 1024 / depth 22 / heads 16, ~337M params, no native duration or pitch head) → BigVGAN-v2 vocoder. Sanskrit is routed through Kannada script (Devanagari triggers Hindi schwa-deletion).

Usage

See the GitHub repo — bash scripts/setup.sh downloads these weights to models/, then python src/render.py ... renders a Devanagari verse + meter to a chanted wav.

The key lever is the reference (F5 prosody is text-driven, not designable): supply the prosody you want as a clean, exactly-matched reference clip (the half-reference rule — ref_text must match the reference audio's spoken span on a word/daṇḍa boundary). A per-meter reference bank ships with the repo.

Training

Fine-tuned from IndicF5 on a ~5 h single-speaker Sanskrit chant corpus (prathoshap/vagdhenu-data); the production voice adds a voice-steering retrain on paired clips. Full method in the repo's docs/TECH_REPORT.md.

Intended use & limitations

Synthesis of classical Sanskrit chant (pārāyaṇa) for recitation, study, and accessibility. No Vedic svaras. Prosody is reference-driven, not arbitrarily designable. The voice is the author's own — please use responsibly and do not impersonate.

License & attribution

Our contribution under Apache-2.0. Built on AI4Bharat IndicF5 (MIT), NVIDIA BigVGAN-v2, and F5-TTS — the vocoder is a BigVGAN-v2 derivative; please observe NVIDIA's BigVGAN license terms. Cite Vāgdhenu (BibTeX with the technical report).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов
0b8b747

0 моделей