Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это сборка русской модели распознавания речи GigaAM v3 CTC в формате Qualcomm QNN context binary для NPU Hexagon HTP v75. Репозиторий подготовлен для использования в приложении MobileASR на устройствах со Snapdragon 8 Gen 3 (SM8650); модель основана на ai-sage/GigaAM-v3. Архитектура включает энкодер Conformer и CTC-голову, а выходом служат логарифмы вероятностей для 34 символьных классов.

Модель принимает лог-мел-признаки размерности 64 с окном до 30 секунд и выдаёт последовательность для CTC-декодирования. Для работы нужны совместимые QNN/QAIRT версии 2.40.0.251030 и sherpa-onnx v1.13.8 с описанным в карточке патчем обработки признаков GigaAM. Указанная скорость на SM8650 — RTF около 0,09.

Сборка рассчитана только на SM8650 и привязана к SoC и версии QNN, поэтому на других чипах не загрузится. Это FP16-представление без квантования. Лицензия — MIT.

Сценарии применения

транскрибация русской речи на Android-устройстве
распознавание речи на Snapdragon 8 Gen 3 с использованием NPU
локальная транскрибация аудиозаписей длительностью до 30 секунд на один входной фрагмент

Ограничения

Бинарный файл работает только на Snapdragon 8 Gen 3 (SM8650) с совместимой версией QNN/QAIRT; для интеграции требуется sherpa-onnx v1.13.8 с патчем обработки признаков GigaAM. Для одного входа используются признаки с бакетом до 30 секунд.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GigaAM v3 CTC — QNN context binary для Snapdragon 8 Gen 3 (SM8650)

Русская модель распознавания речи GigaAM v3 CTC (salute-developers/GigaAM), собранная в context binary Qualcomm QNN для NPU (Hexagon HTP v75). Используется приложением MobileASR (on-device ASR на Android) как движок NPU; на других SoC приложение работает на CPU-модели csukuangfj/sherpa-onnx-nemo-ctc-giga-am-v3-russian-2025-12-16.

Файлы

Файл	Назначение
`giga-ctc.bin`	QNN context binary, граф `encoder` (энкодер Conformer + CTC-голова, log_softmax)
`tokens.txt`	33 буквы + `<blk>` (34 класса); побайтно совпадает с `tokens.txt` CPU-модели sherpa-onnx
`export_gigaam_qnn.py`	экспорт GigaAM v3 CTC в ONNX фиксированной длины
`gigaam-qnn.patch`	патч sherpa-onnx v1.13.8: признаки GigaAM в QNN-ветке `nemo_ctc`
`htp_config.json`	конфиг HTP для `qnn-context-binary-generator`
`LICENSE`	лицензия MIT исходной модели GigaAM

giga-ctc.bin: 490 168 320 Б, SHA256 428b8a1994104c482838757644809205c91e80f8a68484bb649aa2d263782019. tokens.txt: SHA256 17cc514451bcceac9c280068c71502f8448f99e9fb1456b8d0761651fd0392f2.

Параметры

Только SM8650 (Snapdragon 8 Gen 3, soc_id 57, HTP v75). Context binary привязан к SoC и версии QNN; на других чипах не загрузится.
QAIRT / QNN 2.40.0.251030 (build id v2.40.0.251030114326_189385). Рантайм QNN на устройстве должен быть той же версии.
Точность FP16 (qnn-onnx-converter --float_bitwidth 16), без квантования.
Вход x: [1, 3000, 64] float32 — 64 log-mel признака, 3000 кадров (бакет 30 с, шаг 10 мс). Короткие куски дополняются нулями до 3000 кадров.
Выход log_probs: [1, 750, 34] (сабсэмплинг ×4).
RTF на SM8650 ≈ 0,09 (8 записей, 81 с аудио).

Требования к рантайму

Штатная QNN-ветка nemo_ctc в sherpa-onnx написана под NeMo-parakeet (librosa-признаки + per_feature-нормализация) и для GigaAM даёт неверный текст. Нужен sherpa-onnx v1.13.8 с патчем gigaam-qnn.patch (sherpa-onnx/csrc/qnn/offline-recognizer-parakeet-ctc-qnn-impl.h):

GigaAM узнаётся по FeatDim() == 64;
признаки как у CPU-пути GigaAM: high_freq 8000, preemph 0, окно Ханна, round_to_power_of_two=false, без нормализации;
выход обрезается до реальных кадров, чтобы паддинг не попадал в CTC-декод.

Сборка: SHERPA_ONNX_ENABLE_QNN=ON, запуск с --provider=qnn и --nemo-ctc.qnn-context-binary=giga-ctc.bin (плюс пути к libQnnHtp.so, libQnnSystem.so).

Как собрано

python export_gigaam_qnn.py 3000 — пакет gigaam (ветка main), модель v3_ctc; ONNX FP32 с входом [1, 64, 3000].
qnn-onnx-converter --float_bitwidth 16 → qnn-model-lib-generator (x86_64-linux-clang) → qnn-context-binary-generator с htp_config.json (SM8650, v75, vtcm_mb 8, O3).

При batch = 1 энкодер GigaAM не строит маску внимания, поэтому кадры паддинга в неё попадают. Проверка на CPU (PyTorch): с нулевым паддингом до 3000 кадров текст практически совпадает с распознаванием без паддинга.

Лицензия

Веса — производная от GigaAM (MIT, © 2024 GigaChat Team, см. LICENSE). Context binary собран инструментами Qualcomm AI Runtime SDK; рантайм QNN распространяется Qualcomm на своих условиях и в этот репозиторий не входит.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: be90570

Характеристики

Ссылки

gigaam-v3-ctc-qnn-sm8650