/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
6 июл 2026

heroico-asr-conformer-es

Распознавание речиАудио → текст

Модель ESPnet2 на архитектуре Conformer распознаёт испанскую речь и преобразует аудиозаписи в текст.

1скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HEROICO Spanish ASR — Conformer — модель распознавания испанской речи, разработанная на базе ESPnet2 и обученная на корпусе West Point HEROICO. Она предназначена для преобразования аудиозаписей испанской речи в текст, включая спонтанные ответы и записи с новыми для обучения говорящими.

Модель использует Conformer-энкодер и Transformer-декодер с гибридным CTC/attention-обучением, символьной токенизацией и без языковой модели. На dev-наборе указаны 24,4% WER и 8,1% CER; на test — 56,3% WER и 20,6% CER. Высокая ошибка на test связана с преобладанием записей из другого места и с неносителями испанского; отдельные тестовые поднаборы существенно различаются по сложности. Модель распространяется под лицензией Apache 2.0.

Сценарии применения

  • транскрибация спонтанных ответов на испанском языке
  • распознавание речи новых говорящих в записях
  • оценка распознавания испанской речи на корпусе HEROICO
  • исследования устойчивости ASR к смене места записи и состава говорящих

Ограничения

Результаты сильно зависят от условий записи и соответствия данных обучающему домену: WER на test составляет 56,3%, тогда как на спонтанных ответах из этого набора — 18,9%. На записях с шумной разметкой WER достигает 98,4%.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HEROICO Spanish ASR — Conformer (text-disjoint split)

ESPnet2 ASR model trained on the West Point HEROICO corpus (LDC2006S37 / OpenSLR SLR39, Apache 2.0).

  • Language: Spanish (es)
  • Architecture: Conformer encoder / Transformer decoder, hybrid CTC/attention, character tokenization, no LM
  • Recipe: egs2/heroico/asr1 (espnet/espnet#6491), text-disjoint train/eval split
  • Dev: 24.4% WER / 8.1% CER (spontaneous answers, unseen speakers)
  • Test: 56.3% WER / 20.6% CER — the test set is dominated by out-of-domain conditions by design; per-subset:
test subsetuttsWER
answers (spontaneous, novel speakers)71118.9%
recordings, clean (held-out text)12954.3%
recordings, mislabeled band (corpus label noise)5598.4%
usma native (held-out text + channel)164757.0%
usma non-native (held-out text + channel)202871.3%

The test set looks hard because it is: 80% of it is USMA speech — a different recording site, mostly non-native speakers — reading exactly the sentences the corrected split holds out of training. See the recipe README's "Interpreting the test WER" section (espnet/espnet#6491) for the full analysis.

Note: this model replaces an earlier upload trained on a split with ~89% train/test text overlap, which scored an inflated 15.8% test WER via text memorization (see the PR discussion). The earlier zip was also missing exp/asr_stats_raw_es_char/train/feats_stats.npz (global-MVN stats), so it could not be loaded as packed; this upload includes it.

Usage

With the zip (heroico_asr_conformer_v2.zip):

from espnet_model_zoo.downloader import ModelDownloader
from espnet2.bin.asr_inference import Speech2Text

d = ModelDownloader()
speech2text = Speech2Text(**d.download_and_unpack(
    "https://huggingface.co/PranjulGupta/heroico-asr-conformer-es/resolve/main/heroico_asr_conformer_v2.zip"))

Or directly from the repo (unpacked layout):

from espnet2.bin.asr_inference import Speech2Text
speech2text = Speech2Text.from_pretrained("PranjulGupta/heroico-asr-conformer-es")

Input: 16 kHz mono float waveform.

@misc{LDC2006S37,
  Author = {Morgan, John},
  Title = {West Point Heroico Spanish Speech},
  Publisher = {Linguistic Data Consortium},
  Year = {2006}}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели ESPnet требуют отдельного рантайма.

Ревизия весов
0b7cb79

0 моделей