/ Модель

Характеристики

Размер весов
6,7 ГБ
Архитектура
f5_tts · dense
Библиотека
transformers
Опубликована
24 фев 2026

sooktam2

Синтез речиТекст → аудио3 профессии

Мультиязычная модель BharatGen на базе F5-TTS синтезирует речь и поддерживает клонирование голоса для 11 индийских языков и индийского английского.

819скачиваний за 30 дней38лайковвеса обновлены16 мар 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sooktam-2 — мультиязычная модель синтеза речи BharatGen, созданная для индийских языков и индийского английского. Она преобразует текст в речь с помощью архитектуры F5-TTS и поддерживает 12 языков: хинди, маратхи, гуджарати, тамильский, телугу, каннада, бенгальский, малаялам, ория, урду, пенджаби и индийский вариант английского. Модель использует голосовое кондиционирование по референсному аудио для клонирования голоса с сохранением особенностей диктора, акцента и интонации.

Sooktam-2 предназначена для озвучивания текстов, мультиязычных голосовых интерфейсов и приложений, которым нужна естественная речь на языках Индии. В карточке заявлены выразительная просодия и токенизация CLS с учетом языка для более точной передачи индийской фонетики. Репозиторий содержит веса PyTorch и Safetensors и рассчитан на использование через Transformers; лицензия в предоставленных данных не указана.

Сценарии применения

  • озвучивание текстов на индийских языках
  • синтез речи для голосовых интерфейсов
  • клонирование голоса по референсной записи
  • создание мультиязычных голосовых помощников
  • озвучивание контента на индийском английском

Ограничения

Клонирование голоса требует референсного аудио. В предоставленных данных нет сведений о лицензии и количественных оценках качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Open In Colab

The Story

India is not one voice - it is a symphony. Tamil, Bengali, Urdu, Hindi, Kannada - each a living civilisation, spoken daily by hundreds of millions. Yet for too long, AI treated them as afterthoughts. Models built elsewhere, for someone else, leaving Bharat to make do with approximations of its own languages.

BharatGen was built to end that. We are India's sovereign AI initiative - weaving the country's languages, cultures, and voices into technology that is truly Indian. Not adapted. Not translated. Built from the ground up, for Bharat.

Sooktam-2 is our answer to India's need for a voice. A Text-to-Speech model that speaks 12 languages (11 indian languages + 1 indian english) with the phonetic precision, prosody, and cultural soul they deserve - so that every Indian, in every state, can hear AI speak their language, in their accent, and feel at home.

This is GenAI for Bharat, by Bharat.


What is Sooktam-2?

Sooktam-2 is a sovereign multilingual Text-to-Speech model built by BharatGen. It synthesises natural, expressive speech across India's major languages using reference-guided voice conditioning - preserving the speaker's voice, accent, and cultural cadence.

Represented Languages - 12

Hindi · Marathi · Gujarati · Tamil · Telugu · Kannada · Bengali · Malayalam · Odia · Urdu · Punjabi · Indian English

Key Capabilities

  • Reference-guided voice cloning
  • Multilingual Indic speech synthesis
  • Natural prosody and expressive delivery
  • Language-aware CLS tokenization for accurate Indic phonetics
  • Production-quality audio output, deployment-ready at scale

Quickstart

  • Python version = 3.10
git clone https://huggingface.co/bharatgenai/sooktam2
cd sooktam2
sh setup-cls.sh

Python Inference

import os
from transformers import AutoModel

# --- Model ID ---
MODEL_ID = "bharatgenai/sooktam2"

# --- Your reference audio and target text ---
REF_AUDIO = "reference.wav"   # A short, clean voice clip (3–10 sec)
REF_TEXT  = "सर, मैं तब से यह कह रहा हूँ कि मैंने अपना टिकट कैंसल कर दिया है, लेकिन अब तक मेरे पैसे वापस नहीं आए हैं। आप इस मामले को देखेंगे भी या नहीं?"
GEN_TEXT  = "यह एक टेस्ट वाक्य है जिसे आवाज़ में बदलना है।"

# --- Output ---
OUT_DIR = "outputs"
OUT_WAV = os.path.join(OUT_DIR, "sooktam_cls.wav")

# --- Load model (auto-downloads checkpoint + vocab from HuggingFace) ---
model = AutoModel.from_pretrained(
    MODEL_ID,
    trust_remote_code=True,
)

os.makedirs(OUT_DIR, exist_ok=True)

# CLS tokenization is handled inside utils_infer via cls_tokenizer_v2
wav, sr, _ = model.infer(
    ref_file=REF_AUDIO,
    ref_text=REF_TEXT,
    gen_text=GEN_TEXT,
    tokenizer="cls",
    cls_language="hindi",
    file_wave=OUT_WAV,
)

print("Saved:", OUT_WAV, "sample_rate:", sr, "samples:", len(wav))

The model and vocab download automatically from HuggingFace on first run. No manual checkpoint hunting required.


Hugging Face AutoModel

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "bharatgenai/sooktam2",
    trust_remote_code=True,
)

wav, sr, _ = model.infer(
    ref_file="ref.wav",
    ref_text="Your reference transcript.",
    gen_text="Text you want to synthesise.",
    tokenizer="cls",
    cls_language="hindi",
)

License

This post-trained checkpoint is released under the BharatGen non-commercial license.

Please refer to the LICENSE file for detailed terms and conditions.


Contributors

  • Yash
  • Supreet
  • Isha
  • Vansh
  • Pranav

For any questions or feedback, please contact: contact@bharatgen.com


BharatGen - Sovereign AI for a Sovereign Nation

BharatGen is India's initiative to build AI that is Indian in its roots, inclusive in its reach, and sovereign in its design. We believe that a nation of India's civilisational depth - of Sanskrit and Tamil, of Tagore and Kabir, of a billion daily conversations - should not have to borrow its voice from elsewhere.

India's languages are not a niche. They are the world's richest linguistic heritage. And now, they have a model built for them.

We are just getting started.


Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Ревизия весов
eb270c0

0 моделей