/ Модель

Характеристики

Контекст
131 072 токена
Лицензия
Apache 2.0
Архитектура
omnivoice · dense
Базовая модель
lahgtna-omnivoice-v2
Библиотека
omnivoice
Опубликована
12 июн 2026

lahgtna-omnivoice-egyptian-v2

Синтез речиТекст → аудио3 профессии

Модель OmniVoice, дообученная для синтеза египетской арабской речи двумя голосами и клонирования голоса по аудиореференсу.

46скачиваний за 30 дней0лайковвеса обновлены12 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Lahgtna-OmniVoice Egyptian v2 — разработанная проектом Lahgtna на базе OmniVoice модель синтеза речи на египетском арабском языке. Она обучена на корпусе объёмом около 34 часов с двумя дикторами и поддерживает два обученных голоса, а также клонирование голоса по аудиореференсу в режиме zero-shot. Модель принимает текст с диакритическими знаками и может использоваться для генерации речи, в том числе с передачей эталонного аудио и его расшифровки. Репозиторий указывает поддержку потоковой генерации; пример запуска использует библиотеку OmniVoice и выводит аудио с частотой 24 кГц.

В опубликованном сравнительном тесте v2 показала CER 0,102 на 13 предложениях на арабском языке. README отмечает, что на длинных текстах диакритизированные версии, включая v2, теряют связность и могут генерировать бессвязную речь; для длинных текстов рекомендована версия v3. Диакритизация разговорной речи может быть неточной, а переключение на английский не представлено в обучающих данных. Модель дообучена от oddadmix/lahgtna-omnivoice-v2 и распространяется по лицензии Apache-2.0. README также рекомендует получить разрешение на коммерческое использование голосов, основанных на публичных YouTube-записях, и не использовать их для имитации или введения в заблуждение.

Сценарии применения

  • озвучивание коротких текстов на египетском арабском
  • генерация речи одним из двух обученных голосов
  • клонирование голоса по аудиореференсу
  • создание потокового речевого вывода на египетском арабском

Ограничения

На длинных текстах модель может терять связность и генерировать бессвязную речь; диакритические знаки для разговорной речи могут быть неточными. Переключение на английский не представлено в обучающих данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Lahgtna-OmniVoice Egyptian — v2 (multi-voice, diacritized)

Multi-voice Egyptian-Arabic (arz) TTS, fine-tuned on a combined ~34 h, two-narrator corpus. Speaks two trained voices (Eqkawkab + Noselleel) and clones any reference voice zero-shot. This repo is the hub for the project — it also hosts the benchmark, streaming interface, code, training guide, and sample sets.

For the best multi-voice pronunciation, see v3 (non-diacritized) — it beats v2 by ~38% lower CER on pure-Arabic.

👪 Model family

repovoicestext
baselahgtna-omnivoice-v2—diacritized
v1egyptian1diacritized
v2 ← you are hereegyptian-v22diacritized
v3 (recommended)egyptian-v32raw
🎛️ Compare GUISpace——
📚 Dataeqkawkab · noselleel——

What's in this repo

  • model.safetensors + config + tokenizer — the v2 model
  • benchmark/ — 4-way ASR-CER benchmark + 60 audio clips
  • STREAMING.md + samples_streaming/ — low-latency streaming (TTFC ~0.8s)
  • samples_v2_multivoice/, samples_v2_long/ — both-voice demos
  • TRAINING_GUIDE.md + code/ — full reproducible recipe + scripts

Usage

import torch, soundfile as sf
from omnivoice.models.omnivoice import OmniVoice
m = OmniVoice.from_pretrained("ehabnegm/lahgtna-omnivoice-egyptian-v2", device_map="cuda", dtype=torch.float16)
audio = m.generate(text="أهلاً بيك", language="arz", ref_audio="voice.wav", ref_text="نص المرجع")
sf.write("out.wav", audio[0], 24000)

Training

~34 h / 10,828 clips (Eqkawkab + Noselleel), diacritized text. Continued from v1 checkpoint-6000, 8,000 steps, SDPA, bf16, 1× L4. Train loss 3.93 → 1.92.

Benchmark (ASR round-trip CER, 13 pure-Arabic sentences — lower = clearer)

modelCER ↓
v10.056
v30.063
v20.102
base0.109
Full benchmark + audio in benchmark/.

321-word long-form stress test

A full Egyptian-Arabic article (~321 words, ~2:50) synthesized by each model, then transcribed back with Whisper large-v3 (ASR round-trip CER — lower = stays on-text).

modelaudioRTFCER ↓
v3173 s0.250.21 — stays coherent ✅
base170 s0.350.69 — drifts ⚠️
v1170 s0.350.71 — drifts ⚠️
v2170 s0.430.71 — drifts ⚠️

Finding: on paragraph-length input the diacritized models (base/v1/v2) lose coherence and babble; v3 (non-diacritized) is the only version that stays on-text — decisive for long-form and agent replies. Listen: base.wav, v1.wav, v2.wav, v3.wav.

Audio: long300/.

Limitations & responsible use

CATT diacritics on heavy colloquial are approximate; code-switched English is not trained. Audio derived from public YouTube channels (@Eqkawkab, @noselleel) — credit the creators, get permission before commercial use, and don't use the voices to impersonate or mislead.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · omnivoice

Нельзя запустить

Архитектура omnivoice неизвестна transformers в образе рантайма.

Класс архитектуры
OmniVoice
Ревизия весов
02acbe4

0 моделей