/ Модель

Характеристики

Параметры
3,5 млн
Лицензия
CC BY 4.0
Архитектура
vits · dense
Базовая модель
vits-vctk-with-discriminator
Библиотека
transformers
Опубликована
13 июн 2026

bam-vits-train

Синтез речиТекст → аудио3 профессии

Недообученный чекпойнт VITS для продолжения обучения синтезу речи на бамбара.

11скачиваний за 30 дней0лайковвеса обновлены3 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Синтез речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RobotsMali разработала этот контрольный чекпойнт для продолжения обучения синтезу речи на языке бамбара. Модель основана на VITS и сохраняет веса генератора и дискриминатора; размер — около 3,5 млн параметров. Она дообучена от англоязычной модели ylacombe/vits-vctk-with-discriminator на наборе RobotsMali/afvoices-notag: 21 253 обучающих и 1 128 тестовых примеров от 20 участников. Аудио приведено к частоте 22,05 кГц, текст нормализован приведением к нижнему регистру; конфигурация допускает текст длиной до 450 токенов и аудиофрагменты длительностью 0,2–20 секунд.

Это стартовая точка для дальнейшей настройки VITS на собственных данных, а не готовая модель для обычного синтеза: после 200 эпох чекпойнт существенно недообучен. Корпус содержит спонтанную шумную речь из данных для ASR, а качество, разборчивость, произношение и сходство голосов не оценивались. Для обучения нужны пользовательский код RobotsMali и расширение monotonic alignment; для инференса автор рекомендует экспорт bam-vits. Лицензия — CC BY 4.0. Автор предостерегает от имитации людей и создания вводящего в заблуждение аудио.

Сценарии применения

  • продолжение обучения VITS на корпусе речи на бамбара
  • адаптация синтеза речи на бамбара под собственный корпус
  • экспериментальное исследование синтеза низкоресурсной речи

Ограничения

Чекпойнт существенно недообучен, а качество синтеза не оценивалось; обучение выполнено на шумных спонтанных записях с ограниченным числом участников. Для продолжения обучения требуются пользовательский код и расширение выравнивания; автор не рекомендует использовать его для имитации людей или создания обманного аудио.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Bambara VITS — training checkpoint

RobotsMali/bam-vits-train is the continued-training counterpart of RobotsMali/bam-vits. Its VitsModelForPreTraining weights retain both the generator and discriminator (about 323 MB rather than the inference export's 159 MB). Use this repository as model_name_or_path when fine-tuning; use bam-vits for ordinary inference.

Substantially undertrained. The checkpoint received 200 epochs on a small experimental corpus and remains far below typical VITS budgets of hundreds of thousands of optimizer steps (approximately 200,000 is our reference). It is a starting point, not a converged base model.

Continue training

Clone the RobotsMali training code, install its pinned dependencies, build monotonic alignment, then point a copied YAML config at this checkpoint and your dataset:

git clone https://github.com/RobotsMali-AI/vits-bam.git
cd vits-bam
python -m pip install -r requirements.txt
cd monotonic_align && python setup.py build_ext --inplace && cd ..
cp config/bam-vits.yaml config/my-experiment.yaml

At minimum, edit:

model:
  model_name_or_path: RobotsMali/bam-vits-train
  tokenizer_name: RobotsMali/bam-vits-train
  pseudo_ipa: false
  override_speaker_embeddings: true
  override_vocabulary_embeddings: false

data:
  dataset_name: OWNER/DATASET
  dataset_config_name: null
  audio_column_name: audio
  text_column_name: text
  speaker_id_column_name: speaker_id

logging:
  output_dir: ./tmp/my-experiment
  hub_model_id: OWNER/MODEL

Then run:

accelerate launch run_vits_finetuning.py config/my-experiment.yaml

Review speaker and vocabulary settings for your data. This repository's custom training class and compiled monotonic-alignment extension are required. After training, push_vits_model.py --inference_only publishes a generator-only VitsModel; omitting the flag preserves the discriminator.

Provenance

The model was initialized from the English VCTK ylacombe/vits-vctk-with-discriminator and trained on top20-speakers from RobotsMali/afvoices-notag: 21,253 training and 1,128 test examples from the 20 participants with the most utterances, excluding tagged transcripts. The corpus is spontaneous, noisy ASR data rather than studio TTS data.

The source config, config/bam-vits.yaml, specifies 200 epochs, per-device batch 80, learning rate 0.0005, FP16, 0.2–20-second audio, maximum 450 tokens, and seed 789. Text was lowercased; audio was resampled to 22.05 kHz.

Limitations and responsible use

No MOS, intelligibility, pronunciation, speaker-similarity, or safety evaluation is reported. Any downstream model inherits risks from undertraining, noisy data, limited speaker coverage, minimal text normalization, and the English initialization. The source participant-to-model-index mapping was not saved. Evaluate convergence, pronunciation, memorization, bias, licensing, speaker consent, and voice similarity for every derivative.

This checkpoint is for research and fine-tuning. Do not use it to impersonate people, create deceptive audio, or support safety-critical speech without substantial additional training and evaluation. Clearly document downstream data and disclose synthetic audio.

References

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
VitsModelForPreTraining
Ревизия весов
5402cc8

0 моделей