Характеристики

Лицензия: MIT
Архитектура: chatterbox · dense
Базовая модель: chatterbox
Библиотека: mlx-audio
Опубликована: 22 июн 2026

Ссылки

Hugging Face

Chatterbox-Multilingual-MLX-fp16

aufklarer

Синтез речиТекст → аудио3 профессии

Многоязычная версия Chatterbox в формате MLX fp16 для синтеза речи и клонирования голоса по короткому аудиообразцу.

811скачиваний за 30 дней1лайквеса обновлены23 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

aufklarer/Chatterbox-Multilingual-MLX-fp16 — многоязычная модель синтеза речи на базе Chatterbox от Resemble AI, преобразованная для инференса через MLX на компьютерах Apple с Apple Silicon. Модель использует компоненты для кодирования голоса, преобразования текста в токены речи и генерации волновой формы; поддерживает клонирование голоса с нуля по короткому аудиообразцу на 23 языках, включая арабский и хинди.

Репозиторий хранит тензоры в формате fp16 объёмом около 1,3 ГБ. Для работы также требуются веса S3TokenizerV2, которые mlx-audio загружает автоматически. Модель подходит для озвучивания текста и создания речи голосом из предоставленного образца. Лицензия — MIT.

Сценарии применения

озвучивание текста на поддерживаемых языках
клонирование голоса по короткой аудиозаписи
локальная генерация речи на компьютерах Apple с Apple Silicon

Ограничения

Для работы необходимы mlx-audio и дополнительные веса S3TokenizerV2; модель рассчитана на инференс через MLX на Apple Silicon.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

aufklarer/Chatterbox-Multilingual-MLX-fp16

Multilingual Chatterbox (Resemble AI, MIT) converted to MLX in genuine fp16 for Apple-silicon inference. Unlike mlx-community/chatterbox-fp16 (stored as F32, ~2.6 GB), this bundle stores all float tensors as fp16 (~1.3 GB) with an identical key layout.

Zero-shot voice cloning from a short reference clip across 23 languages (incl. Arabic and Hindi). Component prefixes: ve.* (voice encoder), t3.* (text→speech-token T3), s3gen.* (token→waveform S3Gen).

Note: requires the S3Tokenizer weights from mlx-community/S3TokenizerV2, downloaded automatically at runtime.

Use with mlx-audio

pip install -U mlx-audio
mlx_audio.tts.generate --model aufklarer/Chatterbox-Multilingual-MLX-fp16 --text "[ar] مرحبا" --ref_audio reference.wav

Converted with models/chatterbox/export/convert.py (speech-models).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx-audio

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 0a062e0