/ Модель

Характеристики

Контекст
1 024 токена
Параметры
29,4 млн
Лицензия
Apache 2.0
Архитектура
whisper · dense
Базовая модель
whisper-tiny
Библиотека
transformers
Опубликована
9 июл 2026

whisper-tiny-24lang

Распознавание речиАудио → текст

Компактная дообученная версия Whisper-Tiny для распознавания речи на 24 языках и преобразования аудио в текст.

11скачиваний за 30 дней0лайковвеса обновлены13 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Whisper-Tiny-24Lang — многоязычная модель распознавания речи, разработанная Burak Aydoğdu на основе openai/whisper-tiny. Архитектура Whisper сохранена без изменений; модель дообучена на 24 языках корпуса Whispered и предназначена для преобразования аудиозаписей в текст. Она поддерживает загрузку через Transformers без trust_remote_code и может конвертироваться стандартными средствами в форматы для faster-whisper, CTranslate2 и whisper.cpp.

Модель содержит 29,4 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. В README описано обучение на 15 000 шагов с замороженным энкодером и оценка на CommonVoice-17; приведённые для этой модели языковые результаты восстановлены из результатов парного сравнения, а не получены отдельным тестированием этого чекпойнта. Это контрольная модель для сравнения с вариантом MLA, поэтому качество на практике может отличаться от приведённых оценок.

Сценарии применения

  • транскрибация записанной речи на поддерживаемых языках
  • распознавание речи в многоязычных аудиозаписях
  • оценка качества распознавания на CommonVoice-17
  • сравнение стандартной архитектуры Whisper с вариантом MLA

Ограничения

Приведённые в карточке WER/CER для этого чекпойнта восстановлены по результатам парного сравнения, а не измерены отдельно, поэтому независимая оценка может отличаться. Модель обучалась на чтении вслух; результаты для других акустических условий могут отличаться.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper-Tiny-24Lang — 24 languages fine-tune, standard architecture (scientific control)

A plain openai/whisper-tiny (unmodified architecture) fine-tuned on the 24 languages of the CC0 Whispered corpus. This is the matched scientific control for burakaydinofficial/whisper-tiny-mla-24lang — trained identically, minus the MHA→MLA conversion — published so the MLA conversion cost is independently reproducible. No custom code: loads directly in transformers, and — being a plain unmodified Whisper — is convertible for faster-whisper / CTranslate2 / whisper.cpp via their standard converters.

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model = AutoModelForSpeechSeq2Seq.from_pretrained("burakaydinofficial/whisper-tiny-24lang")   # no trust_remote_code
processor = AutoProcessor.from_pretrained("burakaydinofficial/whisper-tiny-24lang")

Reproduce the conversion cost

Evaluate this control and whisper-tiny-mla-24lang on CommonVoice-17 (scripts/validate.py in the code repo); the per-language difference is the conversion cost reported on the MLA card and in docs/results/.

Results (CommonVoice-17 test, greedy, Whisper normalization + Arabic folding; CER for th/zh/ja)

Reconstructed numbers. This control's per-language WER/CER in the table are reconstructed as (the MLA model's absolute score − the measured paired conversion cost), not from a separate evaluation of this checkpoint; an independent re-eval may differ by a few tenths. The paired conversion cost is the directly measured quantity.

Langthis control
en28.1 WER
de42.1 WER
es29.5 WER
fr44.8 WER
it43.8 WER
pt43.1 WER
ru40.6 WER
nl38.8 WER
pl47.3 WER
id53.0 WER
tr52.1 WER
hi45.9 WER
ms49.5 WER
sv-SE57.9 WER
th32.0 CER
zh-CN34.7 CER
cs67.2 WER
vi54.4 WER
fi66.9 WER
el63.7 WER
da73.7 WER
ja48.8 CER
nn-NO93.1 WER
ko71.3 WER

Encoder frozen during fine-tuning; 15,000 steps, warmup+cosine, fp16. Read-speech domain (CommonVoice + FLEURS-validated). "Compression cost" does not apply to this unconverted control.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
ff4c9dc

0 моделей