/ Модель

Характеристики

Архитектура
nepali_voice · dense
Библиотека
transformers
Опубликована
26 сен 2026

nepali-voice-engine-v4

Синтез речиТекст → аудио3 профессии

Nepali Voice Engine v0.4 синтезирует непальскую речь из текста с выбором одного из четырёх голосовых профилей.

744скачиваний за 30 дней1лайквеса обновлены27 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nepali Voice Engine v0.4 — модель преобразования текста в речь на непальском языке, представленная автором ujjwal5454. Это пакет для Transformers с архитектурой NepaliVoiceEngine и автокодирующим декодером речи; в релиз включены два токенизатора и конфигурации текстового энкодера T5 и аудиокодека DAC. Модель предлагает голосовые профили Aakriti, Sangeeta, Prabal и Baje.

Модель предназначена для синтеза непальской речи из текста с выбором одного из предустановленных голосов. Для запуска нужны PyTorch и Transformers версии 4.46.1; выпуск не поддерживает Transformers 5.x. README указывает, что обученный чекпойнт происходит от Indic Parler-TTS, а декодер является производной Apache-2.0 реализации Parler-TTS. Условия использования чекпойнта следует сверять с NOTICE и LICENSE.

В README описаны проверки конфигурации, загрузки и синтеза на случайных весах, однако качество обученных голосов этими проверками не оценивалось. Поэтому по карточке нельзя заключить, насколько естественно модель звучит или каковы её ограничения по произношению и качеству аудио.

Сценарии применения

  • озвучивание непальских текстов
  • создание непальской речи для голосовых интерфейсов
  • подготовка озвучки для непальских учебных материалов
  • генерация непальских голосовых реплик для приложений

Ограничения

Проверки в README используют случайные веса и не оценивают качество обученных голосов. Для запуска требуется Transformers 4.46.1; версия 5.x не поддерживается.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nepali Voice Engine v0.4

A self-contained Transformers remote-code package for the v4 checkpoint, with Aakriti, Sangeeta, Prabal and Baje persona presets. The release contains the speech decoder, both tokenizers and embedded text-encoder/audio-codec configurations. T5 and DAC run through standard Transformers; no separate TTS framework or codec package is imported or downloaded.

Install and use

pip install torch 'transformers==4.46.1'

This version is pinned because the decoder uses Transformers' internal generation and cache interfaces. Transformers 5.x is not supported by this release. PyTorch and Transformers' normal transitive dependencies are required; “self-contained” means no additional model/framework packages or external model repositories.

from transformers import AutoModel, AutoTokenizer

model = AutoModel.from_pretrained(
    "ujjwal5454/nepali-voice-engine-v4", trust_remote_code=True
)
# Optional on a CUDA machine:
# model = model.to("cuda")
audio = model.generate_speech(prompt="नमस्ते सबैलाई!", persona="aakriti")
sample_rate = model.sampling_rate  # 44100

audio is a one-dimensional CPU float32 PyTorch tensor. Personas are aakriti, sangeeta, prabal, and baje (case insensitive). Generation overrides are accepted, for example max_new_tokens=1200. The default 800-token budget can truncate long speech. Presets condition the model with text descriptions; they are not hard speaker-ID guarantees. No postprocessing filter changes the waveform.

AutoTokenizer.from_pretrained(...) loads the Nepali prompt tokenizer; the engine loads the bundled description_tokenizer/ automatically from the same revision. Once the complete release is downloaded, local loading works offline:

model = AutoModel.from_pretrained(
    "./complete-release", trust_remote_code=True, local_files_only=True
)

Release contents and verification

config.json is the active Hub config; sanitized_config.json is an identical review copy. Both use NepaliVoiceConfig, model type nepali_voice, and the NepaliVoiceEngine architecture. The weights retain their original tensor names. The two Python modules load submodels from embedded configs, without repository lookups for T5 or DAC.

This directory is an overlay for the existing Hub repository. Its existing model.safetensors must remain present in the published repository. To turn the overlay into a complete local checkpoint, stage the original weights:

python tools/stage_weights.py /path/to/v4-snapshot
python tools/validate_release.py --load-weights --synthesize

To check the configuration, tokenizers, import boundaries, and all original weight shapes without allocating the full checkpoint:

python tools/validate_release.py
python tools/test_tiny_inference.py

The tiny test exercises autoregressive decoding and DAC synthesis with random weights, plus save/reload in offline mode. It does not measure trained voice quality. See PACKAGING_PLAN.md and VALIDATION.md for scope and validation status.

The custom decoder is an Apache-2.0 licensed derivative of Hugging Face's Parler-TTS implementation. The trained checkpoint derives from Indic Parler-TTS. Runtime independence does not erase provenance; see NOTICE and LICENSE.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
NepaliVoiceEngine
Ревизия весов
0e30e0e

0 моделей