/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
kws_zipformer · dense
Библиотека
transformers
Опубликована
2 сен 2026

icefall-kws-zipformer-gigaspeech-base-20240219

Классификация аудиоАудио → label3 профессии

Потоковая модель Zipformer из Icefall для обнаружения ключевых слов в аудио, преобразованная в формат Transformers и safetensors.

17скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это преобразованная в формат Hugging Face Transformers версия потоковой модели Zipformer для обнаружения ключевых слов (KWS) из проекта Icefall, реализованного k2-fsa. Модель содержит 3,49 млн параметров; исходные веса PyTorch перенесены без изменений в safetensors, без дообучения и квантизации. Лицензия — Apache License 2.0.

Модель принимает готовые 80-мерные признаки Kaldi Fbank для аудио с частотой дискретизации 16 кГц и обрабатывает поток окнами по 45 кадров. Она предназначена как компонент распознавания ключевых слов в аудиопотоке; для получения событий обнаружения вызывающей системе нужно самостоятельно подготовить аудиопризнаки и реализовать потоковую нарезку, граф ключевых слов и beam search.

Это низкоуровневый чекпойнт, а не готовый сквозной классификатор для Hugging Face pipeline. Пересчёт аудио, извлечение Fbank, управление состоянием потока и декодирование остаются на стороне приложения; преобразование не меняет ограничения и характеристики исходной модели.

Сценарии применения

  • обнаружение ключевого слова активации в аудиопотоке
  • потоковое распознавание заданных ключевых слов
  • создание компонента KWS для голосового интерфейса

Ограничения

Модель принимает готовые 80-мерные Kaldi Fbank, а не необработанное аудио, и не является готовым end-to-end pipeline. Извлечение признаков, потоковую нарезку, граф ключевых слов и beam search необходимо реализовать отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

icefall-kws-zipformer-gigaspeech-base-20240219

这是 Icefall 流式 Zipformer KWS 模型的 Hugging Face Transformers 格式转换仓库。 本次工作只包装模型结构,并把原始 PyTorch checkpoint 无损转换为 safetensors;没有重新训练、 微调、量化或修改任何权重,也不代表原作者发布了新的模型版本。

来源与校验

  • 原始仓库或发布页:https://github.com/pkufool/keyword-spotting-models/releases/tag/v0.11
  • 原始发布:v0.11
  • 原始 checkpoint:exp/pretrained.pt
  • 原始 checkpoint SHA256:b9915bc01e96f5b0bef0d6b88d3a0d8086017e4f50711bf3c2be6b1acfb80900
  • 原始 tokenizer SHA256:c8a2a0129c4ab8e463164c142f82d25649661b122c8cd0b7aab5c9e80b90ad24
  • 参数量:3,487,033
  • 许可证:Apache License 2.0

模型实现来自 k2-fsa/icefall,本仓库保留了推理所需的 自定义模型代码。仓库附带原始 SentencePiece 模型以及大小关键词表。

Transformers 加载

import torch
from transformers import AutoModel

model = AutoModel.from_pretrained(
    "MigoXV/icefall-kws-zipformer-gigaspeech-base-20240219",
    trust_remote_code=True,
).eval()

features = torch.zeros(1, 45, 80)
lengths = torch.tensor([45], dtype=torch.int64)
states = model.get_init_states(batch_size=1, device=features.device)
output = model(
    input_features=features,
    input_features_lens=lengths,
    states=states,
)
print(output.last_hidden_state.shape, output.output_lengths)

自定义代码会在加载时执行;生产环境应审阅代码并把 revision 固定为明确的 Hub commit。 模型接收已经计算好的 80 维 Kaldi Fbank,采样率为 16kHz,流式窗口为 45 帧。

对齐结果

权重逐项完全一致;CPU/CUDA 数值对齐通过;本地录音 8 段(合计 274.1 秒)的离线与不同切块流式事件完全一致。

发布前会比较原始 PT 与 Transformers/safetensors 在 CPU、CUDA、合成特征和本地录音上的 权重、流式状态、encoder 输出与最终关键词事件。机器可读结果见 alignment.json。

限制

  • 这是低层模型格式转换,不是 Hugging Face pipeline 的端到端音频分类器。
  • 关键词图、音频重采样、Fbank、流式切块和 beam search 仍需调用方实现。
  • 转换没有改变原模型的训练数据、精度、偏差和适用范围。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · audio-classification

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
KwsZipformerModel
Ревизия весов
1f374a5

0 моделей