/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Библиотека
onnx
Опубликована
3 окт 2026

Ссылки

Hugging Face

audio-compass-models

DeafBoyAudio
Классификация аудиоАудио → label

Набор ONNX-энкодеров CLAP и модели CREPE tiny для поиска аудиосэмплов по текстовым запросам и оценки высоты тона.

0скачиваний за 30 дней0лайковвеса обновлены3 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Набор ONNX-моделей, подготовленных Deaf Boy Audio для плагина Audio Compass — инструмента поиска аудиосэмплов. Включает аудио- и текстовый энкодеры CLAP, преобразующие аудио или токены текста в L2-нормализованные эмбеддинги размерности 512, а также модель CREPE tiny для оценки высоты тона. Аудиоэнкодер CLAP принимает монофонический звук с частотой 48 кГц длительностью 10 секунд; мел-спектрограмма рассчитывается внутри графа. Веса CLAP динамически квантизированы до int8, при этом фронтенд оставлен в fp32.

Модели предназначены для сопоставления текстовых запросов с аудиосэмплами и поиска по звуковой коллекции, а CREPE tiny может использоваться для покадровой оценки высоты тона. Файлы экспортированы в ONNX из laion/larger_clap_music_and_speech и весов CREPE из torchcrepe 0.0.24; README сообщает о проверках согласованности выходов с исходными PyTorch-моделями. Для CLAP указана лицензия Apache-2.0, для CREPE — MIT; репозиторий обозначает общую лицензию как other.

Сценарии применения

  • поиск аудиосэмплов по текстовому описанию
  • сопоставление текстового запроса со звуковыми фрагментами
  • создание эмбеддингов аудио для поиска по сходству
  • оценка высоты тона в аудиофрагменте

Ограничения

Аудиоэнкодер рассчитан на монофонический звук 48 кГц длительностью 10 секунд. Репозиторий содержит несколько отдельных моделей и файлов токенизатора; общая лицензия указана как other, а лицензии отдельных компонентов различаются.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Audio Compass models

ONNX models used by Audio Compass, a sample-finder plugin by Deaf Boy Audio. The plugin downloads these files itself (⋯ › Download models) and checks every file against SHA256SUMS, so there is nothing to do by hand.

FileWhat it isLicence
clap_audio.onnxCLAP audio encoder: 48 kHz mono, 10 s → 512-d L2-normalised embedding. Log-mel front end built into the graph. Dynamic int8 weights (front end kept fp32).Apache-2.0
clap_text.onnxCLAP text encoder: token ids → 512-d L2-normalised embedding. Dynamic int8.Apache-2.0
clap_vocab.json, clap_merges.txtRoBERTa byte-level BPE tokenizer filesApache-2.0
clap_config.jsonEvery preprocessing parameter (sample rate, crop/pad rule, mel settings, token ids)Apache-2.0
crepe_tiny.onnxCREPE "tiny" pitch tracker: 1024-sample frames @ 16 kHz → 360-bin salience. Per-frame normalisation built into the graph.MIT
SHA256SUMSChecksums of the files above—

Where they come from (modified works)

  • CLAP: converted from laion/larger_clap_music_and_speech (LAION, Apache-2.0). Changes: exported to ONNX as separate audio and text encoders with projection + L2 normalisation, mel spectrogram moved into the graph, weights dynamically quantised to int8. Licence: LICENSE-CLAP.
  • CREPE tiny: the weights distributed with torchcrepe 0.0.24 (MIT, © 2020 Max Morrison), a port of CREPE (MIT, © 2018 Jong Wook Kim, Justin Salamon, Peter Li, Juan Pablo Bello). Changes: exported to ONNX with per-frame normalisation in the graph. Licence: LICENSE-CREPE.

The files are produced by tools/export_models.py in the Audio Compass source code; its parity tests check the ONNX outputs against the original PyTorch models (cosine ≥ 0.99 for CLAP, within 10 cents for CREPE).

Citations

  • Wu, Chen, Zhang, Hui, Berg-Kirkpatrick, Dubnov. Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation. ICASSP 2023.
  • Kim, Salamon, Li, Bello. CREPE: A Convolutional Representation for Pitch Estimation. ICASSP 2018.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnx

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Ревизия весов
87f9d21

0 моделей

    Создать бенчмарк