/ Модель

Характеристики

Лицензия
MIT
Библиотека
litert
Опубликована
22 сен 2026

DAC-16kHz-LiteRT

Обработка аудиоАудио → аудио3 профессии

Компактная версия аудиокодека Descript DAC для кодирования и восстановления аудио на Android-устройствах через LiteRT.

84скачиваний за 30 дней0лайковвеса обновлены22 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это версия аудиокодека Descript Audio Codec (DAC), подготовленная для запуска на устройстве через LiteRT CompiledModel с использованием GPU. Модель кодирует аудио с частотой 16 кГц в дискретные коды остаточного векторного квантования (RVQ), а декодер восстанавливает аудио из латентного представления; заявлено сжатие 43:1 — 1 секунда аудио превращается в 12 последовательностей по 50 кодов.

Репозиторий содержит FP16-модели энкодера и декодера в формате TFLite, а также веса RVQ. Сверточные части выполняются на GPU, квантование и деквантование RVQ — на CPU. По карточке, на Pixel 8a скорость обработки составляет около 0,82 от реального времени, а корреляция реконструкции с PyTorch DAC равна 1,0. Модель предназначена для кодирования и восстановления аудио на устройстве; сведений о поддержке конкретных языков или речи как отдельной задачи нет. Лицензия — MIT.

Сценарии применения

  • сжатие аудио для хранения на устройстве
  • кодирование аудиосигнала в последовательность дискретных кодов
  • восстановление аудио из кодов DAC
  • локальная обработка аудио на Android-устройстве

Ограничения

Для работы нужен отдельный CPU-этап RVQ наряду с GPU-энкодером и декодером; заявленные скорость и результаты проверки относятся к Pixel 8a. Карточка не описывает поддержку других частот дискретизации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DAC (Descript Audio Codec) 16 kHz — LiteRT (CompiledModel GPU)

Descript Audio Codec running on-device on the LiteRT CompiledModel GPU (ML Drift). The convolutional encoder/decoder run on the GPU; the RVQ runs on CPU. 43:1 compression (1 s → 12×50 codes), RTF ≈ 0.82 (faster than real-time) on Pixel 8a.

Files

  • dac_16khz_encoder_fp16.tflite (43 MB) — audio[1,1,16000] → latent[1,1024,50], GPU.
  • dac_16khz_deconly_zs_fp16.tflite (105 MB) — latent[1,1024,50] → audio, GPU.
  • dac_rvq.bin (1.2 MB) — RVQ weights (12 codebooks) for the CPU quantizer (float32 LE).

Pipeline

audio -> encoder.tflite (GPU) -> z -> RVQ.encode (CPU) -> codes[12,50]
      -> RVQ.decode (CPU) -> z_q -> decoder.tflite (GPU) -> audio

On-device (Pixel 8a, Tensor G3 — verified)

encoder 367/367 + decoder 398/398 nodes on the LiteRT GPU delegate (LITERT_CL, 1 partition, no CPU fallback); warm RTF ~0.82; reconstruction corr 1.0 vs PyTorch DAC.

Why the split

The decoder's ConvTranspose1d are rewritten to a GPU-clean zero-stuff form (the real DAC's odd stride-5 transposed conv fails converter legalization, and TRANSPOSE_CONV is rejected by Mali). The RVQ uses EMBEDDING_LOOKUP + int64 indices (Mali-rejected) so it runs on CPU. So the float conv graph stays fully on the GPU.

Android sample + conversion/validation scripts: https://github.com/john-rocky/LiteRT-Models/tree/main/dac

License: MIT (Descript DAC).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · litert

Нельзя запустить

Обработка «аудио → аудио» пока не поддерживается.

Ревизия весов
07e52bf

0 моделей