/ Модель
Каталог

Характеристики

Контекст
131 072 токена
Лицензия
Apache 2.0
Архитектура
omnivoice · dense
Базовая модель
OmniVoice
Библиотека
mlx
Опубликована
24 июн 2026

Ссылки

Hugging Face

OmniVoice-MLX-fp16

aufklarer
Синтез речиТекст → аудио3 профессии

Многоязычная модель MLX для синтеза речи из текста и zero-shot клонирования голоса, конвертированная в fp16.

53скачиваний за 30 дней0лайковвеса обновлены24 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OmniVoice-MLX-fp16 — конверсия многоязычной модели синтеза речи k2-fsa/OmniVoice в формат MLX с точностью fp16, подготовленная для стека Soniqo на базе speech-swift. Модель использует одноэтапную архитектуру NAR discrete diffusion с двунаправленным Qwen3 в качестве основы и кодеком Higgs-audio v2; репозиторий содержит веса основного модуля, аудиотокенизатора и текстовый токенизатор.

Модель предназначена для преобразования текста в речь и zero-shot клонирования голоса более чем на 600 языках. Размер весов fp16 составляет около 1,5 ГБ вместо примерно 3,3 ГБ у исходного fp32-варианта. README сообщает о проверке исходной модели на пяти английских предложениях с результатом около 0% WER; это ограниченная проверка, а не широкая оценка качества.

Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимый стек MLX; качество речи и поддержка конкретных языков могут различаться, а приведённая проверка охватывает только небольшой английский набор.

Сценарии применения

  • синтез речи из текста на разных языках
  • zero-shot клонирование голоса по образцу
  • создание озвучки для приложений на стеке MLX

Ограничения

Заявленная проверка качества ограничена пятью английскими предложениями и не подтверждает качество для всех поддерживаемых языков. Для работы требуется совместимый стек MLX.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделейI.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OmniVoice-MLX-fp16

A genuine fp16 MLX conversion of k2-fsa/OmniVoice — a massively multilingual (600+ languages) zero-shot TTS built on a single-stage NAR discrete-diffusion architecture (Qwen3 backbone run bidirectionally) with a Higgs-audio v2 codec.

Converted for the Soniqo speech stack (speech-swift / MLX). ~3.3 GB fp32 → ~1.5 GB fp16.

Contents

FileWhat
model.safetensorsQwen3 backbone (llm.*) + audio embeddings + 8 codebook heads
audio_tokenizer/model.safetensorsHiggs-audio v2 codec (semantic wav2vec2 + acoustic DAC RVQ)
tokenizer.json, config.json, chat_template.jinjaQwen3 text tokenizer + config

Float tensors are cast to fp16; the PyTorch key structure is preserved.

Validation

The fp32 source model round-trips at ~0% WER (whisper-base.en) on a 5-sentence English set; this bundle is a faithful half-precision copy.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры
OmniVoice
Ревизия весов
bec00bc

0 моделей

    Создать бенчмарк