/ Модель
Каталог

Характеристики

Библиотека
onnxruntime
Опубликована
7 июл 2026

Ссылки

Hugging Face

fluency-nemo-conformer-ctc-aligner

iamzhangship
Распознавание речиАудио → текст

Мобильная ONNX-модель Fluency для выравнивания английской речи с готовой транскрипцией и получения временных меток слов.

0скачиваний за 30 дней0лайковвеса обновлены7 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Fluency NeMo Conformer CTC Aligner — ONNX-модель для мобильного конвейера принудительного выравнивания английской речи. Она преобразует речевой сигнал в CTC логарифмические вероятности по кадрам; приложение сопоставляет их с текстом транскрипции от Whisper с помощью ограниченного алгоритма CTC Viterbi и получает временные метки слов. Модель не предназначена для самостоятельного распознавания речи и не формирует транскрипт.

В основе — энкодер Conformer с CTC-проекцией и log-softmax, экспортированный из предварительно обученной NeMo-модели stt_en_conformer_ctc_small. ONNX-граф принимает подготовленные 80-мерные log-mel признаки для моноаудио с частотой 16 кГц, поэтому извлечение признаков NeMo-совместимым способом должен выполнять клиент. Выход модели — последовательность логарифмических вероятностей для токенов SentencePiece и CTC blank.

Модель рассчитана на мобильное выравнивание слов в английских транскриптах и интеграцию через ONNX Runtime Mobile. В README описана проверка согласованности ONNX-экспорта с исходной реализацией PyTorch. Размер ONNX-файла — около 53,2 МБ. Репозиторий не указывает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Сценарии применения

  • получение временных меток слов в английской речи
  • выравнивание транскрипта Whisper с аудиозаписью
  • синхронизация английских субтитров с речью
  • построение таймкодов слов для видеозаписей

Ограничения

Модель не распознаёт речь самостоятельно: ей нужны готовая транскрипция и предварительно рассчитанные NeMo-совместимые log-mel признаки. Предназначена для английского языка; README не сообщает лицензию.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Fluency NeMo Conformer CTC Aligner

This repository contains the mobile-distribution assets for Fluency's English word-level forced alignment pipeline.

The model is not used as a standalone ASR decoder in the app. Whisper provides the transcript, this model provides frame-level CTC log-probabilities, and the app runs constrained CTC Viterbi to recover word timestamps.

Runtime Pipeline

Whisper transcript
→ text normalization
→ SentencePiece tokenizer
→ native log-mel feature extraction
→ ONNX Runtime Mobile
→ constrained CTC Viterbi
→ word timestamps

Required App Assets

stt_en_conformer_ctc_small_features.onnx
metadata.json
tokenizer/tokenizer.model
tokenizer/vocab.txt
manifest.json

Optional debugging assets are under parity/.

ONNX Contract

  • Input processed_signal: [batch, 80, feature_frames] float32
  • Input processed_signal_length: [batch] int64
  • Output log_probs: [batch, encoded_frames, 1025] float32
  • Output encoded_len: [batch] int64
  • CTC blank id: 1024

Feature Contract

  • Sample rate: 16000 Hz
  • Channels: mono
  • Feature type: 80-bin log-mel spectrogram
  • Window size: 25 ms
  • Window stride: 10 ms
  • FFT: 512
  • Window: Hann
  • Normalization: per_feature

The ONNX graph intentionally starts after feature extraction. Mobile clients must implement NeMo-compatible log-mel features before invoking ONNX Runtime.

Validation

Validated on a 375.838s video using raw Whisper text fields only:

  • Windows checked: 7
  • Segments checked: 110
  • Matched words checked: 1029
  • PyTorch feature+model total: 3.106s
  • ONNX model total: 5.396s
  • Log-prob mean abs diff: 0.000014
  • Word center delta p50/p95/max: 0.0ms / 0.0ms / 0.0ms

See parity/parity_1gzKSyOBpZg.json and parity/parity_1gzKSyOBpZg.csv for details.

Download URLs

https://huggingface.co/iamzhangship/fluency-nemo-conformer-ctc-aligner/resolve/main/stt_en_conformer_ctc_small_features.onnx
https://huggingface.co/iamzhangship/fluency-nemo-conformer-ctc-aligner/resolve/main/metadata.json
https://huggingface.co/iamzhangship/fluency-nemo-conformer-ctc-aligner/resolve/main/tokenizer/tokenizer.model
https://huggingface.co/iamzhangship/fluency-nemo-conformer-ctc-aligner/resolve/main/tokenizer/vocab.txt
https://huggingface.co/iamzhangship/fluency-nemo-conformer-ctc-aligner/resolve/main/manifest.json

Checksums

  • ONNX sha256: 8998fd44bc2374c7d085f7c709fbfbd28ea6db09998622077071faf478db24fd
  • ONNX size: 53197388 bytes

Use manifest.json for full file sizes and sha256 checksums.

Source Model

  • NeMo pretrained model: stt_en_conformer_ctc_small
  • Export graph: Conformer encoder + CTC projection/log-softmax
  • Export metadata model bytes: 53197388

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · onnxruntime

Нельзя запустить

Модель выложена только в формате ONNX.

Ревизия весов
9813267

0 моделей

    Создать бенчмарк