Характеристики

Лицензия: Apache 2.0
Архитектура: i2v · dense
Базовая модель: AptAvatar
Библиотека: mlx
Опубликована: 16 окт 2026

Ссылки

Hugging Face

aptavatar-mlx

shraey

Видео из изображенияИзображение, текст → видео

MLX-порт APT-Avatar для создания видео говорящего аватара по портрету и аудиозаписи речи.

16скачиваний за 30 дней0лайковвеса обновлены16 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

shraey/aptavatar-mlx — независимый MLX-порт и пакетирование модели APT-Avatar, разработанной TaoLiveAIGC и её участниками; это не новая обученная модель и не официальный выпуск upstream. Пакет предназначен для генерации говорящего аватара из портретного изображения и аудиозаписи речи. Метаданные относят модель к задаче image-to-video, а README описывает компоненты для текста, визуальных данных, аудио и декодирования видео.

Доступны BF16-вариант с корневым DiT, побайтно идентичным upstream, и INT8-вариант, где линейные веса трансформера квантованы до 8 бит с группами по 64; активации остаются в BF16, а attention не квантован. Пакет использует MLX и файлы safetensors. Для установки требуется Natively Engine; README указывает, что движок находится в закрытой бета-версии для разработчиков. Лицензия модели — Apache-2.0.

Сценарии применения

создание видео говорящего аватара из портретной фотографии и речи
анимация портрета под входную аудиозапись
локальный запуск генерации аватара на Apple Silicon через MLX

Ограничения

Для установки требуется Natively Engine, который находится в закрытой бета-версии для разработчиков. INT8-вариант квантует линейные веса трансформера, но оставляет активации в BF16 и attention без квантизации.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

APT-Avatar — MLX-ready BF16 and INT8

Accepted Apple Silicon model packs for Natively Engine. Original model: TaoLiveAIGC/AptAvatar and its contributors. MLX port, conversion and packaging: Shraey / Natively. This is an independent conversion, not a new trained model or an official upstream release.

The root BF16 DiT is byte-identical to upstream. dit-int8/ contains affine 8-bit, group-64 transformer linear weights; activations remain BF16 and attention is not quantized. aux/ contains the accepted CPU exports for UMT5 text, OpenCLIP visual, Chinese Wav2Vec2 audio and Wan2.1 VAE. See release-manifest.json for exact source revisions, checksums and conversion details. No personal media or executable model code is included.

Install

Use the Natively Engine catalog to download one precision plus common auxiliaries, rather than cloning all weights. Follow the APT guide. The engine is currently an access-controlled developer beta; the weights here are public. With the documented frozen runtime installed:

natively models install aptavatar-int8
# Or, on a larger Mac:
natively models install aptavatar-bf16
natively provider aptavatar --pack aptavatar-int8 --image portrait.png --audio speech.wav --output avatar.mp4

INT8 reduces memory, not necessarily elapsed time. Previous 384×672, 25 fps, two-step acceptance measured about 22.31 GiB MLX allocations / 24.51 GiB owned process footprint for INT8 and 38.88 / 41.29 GiB for BF16 on an M5 Max 128 GiB. Those are different memory metrics, not minimum system RAM. BF16: 64 GiB recommended; INT8: 32 GiB remains a hardware validation target. No 16/24 GiB or all-Mac performance claim. APT is experimental; LongCat remains Natively's established avatar provider.

License and provenance

The pinned upstream weight repository ships Apache-2.0 (LICENSE). We retain that original license; conversion does not relicense the weights. Upstream's card also contains apparently stale inference-code-only/future-weight-terms wording despite shipping checkpoints. The original card is preserved in UPSTREAM-MODEL-CARD.md; no new permission from the authors or resolution of that wording is claimed.

Auxiliary terms apply separately: Wan2.1 and UMT5 (Apache-2.0), TencentGameMate Chinese Wav2Vec2 (MIT), OpenCLIP/CLIP (MIT). Original notices and auxiliary cards are in LICENSES/. Preserve attribution, notices and applicable upstream conditions. The Natively Engine source is separately GPL-3.0-or-later. This repository contains model artifacts only.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Ревизия весов: 6d572ec