Характеристики

Лицензия: Своя лицензия
Архитектура: indextts2 · dense
Базовая модель: IndexTTS-2
Библиотека: mlx
Опубликована: 8 июл 2026

Ссылки

IndexTTS2-MLX-fp16

Синтез речиТекст → аудио3 профессии

Экспорт IndexTTS-2 в fp16 для Apple Silicon предназначен для синтеза выразительной речи и клонирования голоса по аудиореференсу.

131скачиваний за 30 дней0лайковвеса обновлены8 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

aufklarer/IndexTTS2-MLX-fp16 — экспорт IndexTTS-2 в формате fp16 и safetensors, подготовленный для оценки реализации на Apple Silicon. Исходную модель разработала IndexTeam; экспорт сохраняет имена параметров и структуру каталогов исходных весов и включает вспомогательные компоненты для синтеза речи по референсному аудио.

Модель предназначена для преобразования текста в речь, в том числе с клонированием голоса по аудиореференсу и управлением выразительностью. Вспомогательные компоненты извлекают признаки и стиль голоса из референсного аудио; базовая IndexTTS-2 описана как авторегрессионная zero-shot модель с контролем длительности. В карточке указана поддержка китайского и английского языков.

Это конвертированный артефакт для портирования Swift/MLX, а не готовый чекпойнт Transformers. README предупреждает, что одной поставки весов недостаточно для инференса: необходимы реализации графов нескольких компонентов, включая GPT/S2Mel, BigVGAN и вспомогательные модели. Лицензия в метаданных указана как other; дополнительных условий использования карточка не сообщает.

Сценарии применения

синтез речи из текста на китайском языке
синтез речи из текста на английском языке
клонирование голоса по референсной записи
управление выразительностью синтезированной речи
оценка Swift/MLX-порта IndexTTS-2 на Apple Silicon

Ограничения

Экспорт не является готовым чекпойнтом Transformers и сам по себе не обеспечивает запуск: для инференса требуются реализации графов Swift/MLX для основной и вспомогательных моделей. Указанная в метаданных лицензия «other» не раскрывает конкретных условий использования.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

IndexTTS2-MLX-fp16

This is an fp16 artifact export of IndexTeam/IndexTTS-2 for Apple Silicon runtime evaluation.

Runtime support is not implied by this model card. The bundle preserves upstream key names and is intended for a speech-swift Swift/MLX port.

Runtime and Documentation

speech-swift runtime repo: https://github.com/soniqo/speech-swift
speech-models exporter repo: https://github.com/soniqo/speech-models
Voice cloning docs: https://soniqo.audio/voice-cloning
CLI docs: https://soniqo.audio/cli
Benchmark article: https://soniqo.audio/blog/voice-cloning-benchmarks

Model

Field	Value
Display name	IndexTTS2
Source	`IndexTeam/IndexTTS-2`
Source revision	`740dcaff396282ffb241903d150ac011cd4b1ede`
Publish repo	`aufklarer/IndexTTS2-MLX-fp16`
Parameter count	1.5B-class
Sample rate	24000 Hz
Voice conditioning	reference audio plus optional emotion reference/control path
Streaming	needs runtime validation
License posture	check upstream/commercial terms before product use
Runtime status	artifact-export; Swift native inference not implemented

Files

soniqo_manifest.json - export manifest with source, runtime status, and file metadata
config.json - upstream or generated root config for runtime metadata
*.safetensors - fp16-converted model weights with upstream key names preserved
aux/ - auxiliary model configs and fp16-converted weights required by this runtime, when applicable

Auxiliary Models

This expanded export includes auxiliary assets that upstream IndexTTS2 downloads at runtime:

Component	Source	Purpose
w2v-BERT 2.0	`facebook/w2v-bert-2.0`	SeamlessM4T features and semantic hidden states for reference audio
MaskGCT semantic codec	`amphion/MaskGCT`	Quantizes reference semantic features and maps generated codes to embeddings
CAMPPlus	`funasr/campplus`	Extracts the 192-d global style vector from the speaker reference
BigVGAN	`nvidia/bigvgan_v2_22khz_80band_256x`	Decodes generated 80-band mel spectrograms to waveform

Notes

Public upstream weights include GPT/S2Mel checkpoints plus a Qwen emotion merge directory.
The expanded export also bundles the upstream auxiliary models required by IndexTTS2 v2 synthesis.
This exporter converts PyTorch pickle checkpoints to safetensors and preserves subdirectory layout.
Native Swift inference still needs the graph ports for w2v-BERT, MaskGCT semantic codec, GPT/S2Mel, CAMPPlus, and BigVGAN.

Usage

These artifacts are for runtime implementation and evaluation. They are not a drop-in Transformers checkpoint.

git clone https://huggingface.co/aufklarer/IndexTTS2-MLX-fp16

Source

Upstream model: https://huggingface.co/IndexTeam/IndexTTS-2
Converted bundle: https://huggingface.co/aufklarer/IndexTTS2-MLX-fp16

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 208b3d6