/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
kws_zipformer · dense
Библиотека
transformers
Опубликована
2 сен 2026

icefall-kws-zipformer-zh-en-3M-2025-12-20

Классификация аудиоАудио → label3 профессии

Потоковая модель Icefall Zipformer KWS для обнаружения ключевых слов и слов пробуждения на китайском и английском аудио.

25скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это преобразованная в формат Hugging Face Transformers версия потоковой модели обнаружения ключевых слов Icefall Zipformer KWS, разработанной на основе реализации k2-fsa/icefall. Модель содержит около 3,22 млн параметров и принимает акустические признаки Kaldi Fbank размерности 80, вычисленные для аудио с частотой 16 кГц; она поддерживает потоковую обработку с окном 45 кадров и явные токены Phone/Pinyin для китайского и английского языков.

Модель предназначена для обнаружения заданных ключевых слов и слов пробуждения в аудиопотоке. Репозиторий сохраняет веса исходного чекпойнта без переобучения, дообучения или квантизации и предоставляет их в формате safetensors с пользовательским кодом модели для Transformers. Лицензия — Apache License 2.0.

Это низкоуровневая конверсия, а не готовый классификатор для end-to-end использования через Hugging Face pipeline. Внешнее приложение должно самостоятельно реализовать построение графа ключевых слов, ресэмплинг аудио, вычисление Fbank, разбиение потока на фрагменты и beam search; автоматического преобразования текста в фонетические токены G2P нет. Для загрузки с trust_remote_code рекомендуется предварительно проверять код и фиксировать ревизию репозитория.

Сценарии применения

  • обнаружение ключевого слова в аудиопотоке
  • реализация голосового слова пробуждения на китайском
  • реализация голосового слова пробуждения на английском
  • потоковое распознавание заданных Phone/Pinyin последовательностей
  • встраивание KWS-модели в приложение с собственной обработкой аудио

Ограничения

Модель принимает готовые 80-мерные Fbank-признаки, а построение графа ключевых слов, ресэмплинг, извлечение признаков, потоковая сегментация и beam search остаются на стороне приложения. G2P не предоставляется; для загрузки требуется trust_remote_code.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

icefall-kws-zipformer-zh-en-3M-2025-12-20

这是 Icefall 流式 Zipformer KWS 模型的 Hugging Face Transformers 格式转换仓库。 本次工作只包装模型结构,并把原始 PyTorch checkpoint 无损转换为 safetensors;没有重新训练、 微调、量化或修改任何权重,也不代表原作者发布了新的模型版本。

来源与校验

  • 原始仓库或发布页:https://www.modelscope.cn/models/pkufool/icefall-kws-zipformer-zh-en-3M-2025-12-20
  • 原始 revision:541d04e28be57efc6fdf46a341da09e043a37b52
  • 原始 checkpoint:checkpoint/pretrained-epoch-13-avg-2.pt
  • 原始 checkpoint SHA256:62188d073aaf7ec33f85a2c1e1f2a75751658743daeb203f17241ec3bf4ff6eb
  • 原始 tokenizer SHA256:2d3f32311f9b692b964da3c90e830258d3e78e013cb0c992dbfb15cd5a1a71b0
  • 参数量:3,219,385
  • 许可证:Apache License 2.0

模型实现来自 k2-fsa/icefall,本仓库保留了推理所需的 自定义模型代码。该模型使用显式 Phone/Pinyin token;本仓库不提供自动 G2P。

Transformers 加载

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "MigoXV/icefall-kws-zipformer-zh-en-3M-2025-12-20",
    trust_remote_code=True,
).eval()

features = torch.zeros(1, 45, 80)
lengths = torch.tensor([45], dtype=torch.int64)
states = model.get_init_states(batch_size=1, device=features.device)
output = model(
    input_features=features,
    input_features_lens=lengths,
    states=states,
)
print(output.last_hidden_state.shape, output.output_lengths)

自定义代码会在加载时执行;生产环境应审阅代码并把 revision 固定为明确的 Hub commit。 模型接收已经计算好的 80 维 Kaldi Fbank,采样率为 16kHz,流式窗口为 45 帧。

对齐结果

权重逐项完全一致;CPU/CUDA 数值对齐通过;本地录音 8 段(合计 274.1 秒)的离线与不同切块流式事件完全一致。

发布前会比较原始 PT 与 Transformers/safetensors 在 CPU、CUDA、合成特征和本地录音上的 权重、流式状态、encoder 输出与最终关键词事件。机器可读结果见 alignment.json。

限制

  • 这是低层模型格式转换,不是 Hugging Face pipeline 的端到端音频分类器。
  • 关键词图、音频重采样、Fbank、流式切块和 beam search 仍需调用方实现。
  • 转换没有改变原模型的训练数据、精度、偏差和适用范围。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · audio-classification

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
KwsZipformerModel
Ревизия весов
0e33d14

0 моделей