/ Модель

Характеристики

Библиотека
sherpa-onnx
Опубликована
9 июл 2026

mums-ears-models

Распознавание речиАудио → текст

Набор ONNX-моделей для Mum's Ears, предназначенный прежде всего для потоковой и офлайн-транскрибации речи, а также обработки аудио.

0скачиваний за 30 дней0лайковвеса обновлены17 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gettyappz/mums-ears-models — репозиторий ONNX-моделей для приложения Mum's Ears, Android-приложения для преобразования речи в текст на Flutter с использованием sherpa-onnx. В репозитории собраны потоковые модели Zipformer transducer для распознавания речи в реальном времени на английском, немецком, испанском, французском и китайском языках, а также офлайн-модель Qwen3-ASR. Английская, немецкая, испанская и французская потоковые модели — пользовательские варианты, дообученные для субтитров в реальном времени; китайская потоковая модель квантизована до int8, а Qwen3-ASR представлена в варианте int4 и требует не менее 4 ГБ свободной оперативной памяти.

Это набор весов и связанных файлов в формате ONNX, а не единая модель. Помимо распознавания речи, в составе есть модели для пунктуации, классификации звуковых событий, подавления шума и диаризации говорящих. Файлы загружаются приложением по требованию с проверкой SHA-256. README указывает источники и лицензии компонентов: Apache-2.0 для моделей sherpa-onnx и Qwen3-ASR, MIT для модели сегментации pyannote; для модели пунктуации указана статья. Лицензии отдельных пользовательских вариантов в карточке явно не описаны.

Сценарии применения

  • потоковая транскрибация речи в английском языке
  • распознавание немецкой, испанской, французской и китайской речи
  • офлайн-распознавание речи на устройстве Android
  • добавление пунктуации и регистра в распознанный текст
  • подавление шума и выделение говорящих в аудиозаписи
  • классификация звуковых событий в аудио

Ограничения

Офлайн-вариант Qwen3-ASR занимает около 938 МБ и требует не менее 4 ГБ свободной оперативной памяти; это репозиторий нескольких компонентов с разными возможностями и условиями лицензирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mum's Ears — ONNX Model Repository

Central model store for Mum's Ears, an Android speech-to-text app built with Flutter and sherpa-onnx.

All models are downloaded at runtime with SHA-256 checksum verification.


Folder Structure

mums-ears-models/ ├── en/ # English streaming ASR + punctuation ├── de/ # German streaming ASR ├── es/ # Spanish streaming ASR ├── fr/ # French streaming ASR ├── zh/ # Chinese streaming ASR ├── qwen3-asr/ # Qwen3-ASR (offline, 938 MB) ├── audio_tagging/ # CED Tiny audio event classification ├── denoiser/ # DPDFNet8 speech enhancement ├── speaker_embedder/ # CAM++ speaker embedding └── pyannote_model.onnx # Speaker diarization segmentation


Model Inventory

Streaming ASR (per-language)

Each language folder contains a streaming Zipformer transducer model fine-tuned for real-time captioning.

FileSizePurpose
encoder.onnx70 MB (154 MB zh)Acoustic encoder
decoder.onnx1 MB (5 MB zh)Prediction decoder
joiner.onnx1 MBJoint network
tokens.txt< 1 MBToken vocabulary

Languages: en, de, es, fr, zh

Punctuation (English)

FileSizePurpose
en/model_punct.int8.onnx7 MBOnline punctuation model (int8 quantized)
en/bpe_punct.vocab< 1 MBBPE vocabulary

Speaker Diarization

FileSizePurposeOriginal Source
pyannote_model.onnx14 MBSpeaker segmentation (pyannote 3.0)csukuangfj/sherpa-onnx-pyannote-segmentation-3-0
speaker_embedder/<filename>27 MBCAM++ speaker embeddings (zh+en, 192-dim)k2-fsa/sherpa-onnx

Audio Tagging

FileSizePurposeOriginal Source
audio_tagging/model.int8.onnx27 MBCED Tiny audio event classifier (int8)k2-fsa/sherpa-onnx-ced-tiny-audio-tagging-2024-04-19
audio_tagging/class_labels_indices.csv< 1 MBAudio event class labelsSame

Speech Enhancement (Denoiser)

FileSizePurposeOriginal Source
denoiser/dpdfnet8.onnx14 MBDPDFNet8 speech denoiserk2-fsa/sherpa-onnx

Qwen3-ASR (Offline)

Large offline ASR model (int4 quantized, ~938 MB total). Optional — requires ≥ 4 GB free RAM.

FileSizePurpose
qwen3-asr/encoder.int8.onnx~400 MBAudio encoder
qwen3-asr/decoder.int8.onnx~400 MBLanguage model decoder
qwen3-asr/conv_frontend.onnx~100 MBConvolutional frontend
qwen3-asr/tokenizer/vocab.json< 1 MBTokenizer vocabulary
qwen3-asr/tokenizer/merges.txt< 1 MBBPE merge rules
qwen3-asr/tokenizer/tokenizer_config.json< 1 MBTokenizer config

Attribution

Models in this repository are sourced from the following open-source projects:

The "kroko" streaming ASR models (en/de/es/fr) are custom fine-tuned variants. The Chinese streaming model is int8-quantized.


Download & Verification

Models are downloaded by the app's built-in download manager with:

  • Resumable downloads via HTTP Range headers (.part files)
  • SHA-256 checksum verification before accepting any file
  • Mirror fallback — if the primary URL fails, the original source URL is tried automatically
  • WiFi-only mode (default, toggleable)

All checksums are defined in lib/services/model_checksums.dart.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sherpa-onnx

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Ревизия весов
545531b

0 моделей