/ Модель

Характеристики

Контекст
1 024 токена
Параметры
51,7 млн
Лицензия
Apache 2.0
Архитектура
whisper · dense
Базовая модель
whisper-base
Библиотека
transformers
Опубликована
9 июл 2026

whisper-base-cv11

Распознавание речиАудио → текст9 профессий

Дообученная мультиязычная Whisper Base для распознавания речи в аудио на 11 языках.

10скачиваний за 30 дней0лайковвеса обновлены13 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

burakaydinofficial/whisper-base-cv11 — это мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Base на корпусе Whispered с лицензией CC0. Модель содержит 51,7 млн параметров и предназначена для преобразования речи в аудио в текст; она работает через библиотеку Transformers без пользовательского кода.

Модель служит контрольной точкой для сравнения с вариантом whisper-base-mla-cv11, в котором изменена архитектура внимания. В карточке приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского языков; обучение проводилось на данных для чтения речи, энкодер был заморожен.

Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский языки. Контекстная длина в доступных данных не указана. Модель распространяется по лицензии Apache-2.0. Результаты могут немного отличаться при повторной оценке: в карточке отмечено, что контрольная финальная контрольная точка отличается от контрольной точки, выбранной по dev-набору.

Сценарии применения

  • расшифровка аудиозаписей на русском языке
  • распознавание английской речи
  • создание субтитров для немецких и испанских записей
  • транскрибирование многоязычных записей речи
  • сравнение качества стандартной Whisper Base с преобразованной архитектурой MLA

Ограничения

Модель обучена на речи, близкой к чтению вслух; качество на спонтанной речи может отличаться. Карточка предупреждает, что независимая переоценка может дать небольшие отличия от опубликованных результатов.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper-Base-CV11 — 11 languages fine-tune, standard architecture (scientific control)

A plain openai/whisper-base (unmodified architecture) fine-tuned on the 11 languages of the CC0 Whispered corpus. This is the matched scientific control for burakaydinofficial/whisper-base-mla-cv11 — trained identically, minus the MHA→MLA conversion — published so the MLA conversion cost is independently reproducible. No custom code: loads directly in transformers, and — being a plain unmodified Whisper — is convertible for faster-whisper / CTranslate2 / whisper.cpp via their standard converters.

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor
model = AutoModelForSpeechSeq2Seq.from_pretrained("burakaydinofficial/whisper-base-cv11")   # no trust_remote_code
processor = AutoProcessor.from_pretrained("burakaydinofficial/whisper-base-cv11")

Reproduce the conversion cost

Evaluate this control and whisper-base-mla-cv11 on CommonVoice-17 (scripts/validate.py in the code repo); the per-language difference is the conversion cost reported on the MLA card and in docs/results/.

Results (CommonVoice-17 test, greedy, Whisper normalization + Arabic folding; CER for th/zh/ja)

Langthis control
en20.1 WER
de29.3 WER
es18.1 WER
fr31.7 WER
ru27.4 WER
tr37.8 WER
cy77.8 WER
ar56.2 WER
ka99.1 WER
th22.1 CER

Checkpoint note: this is the FINAL-step checkpoint; the dev-selected checkpoint that produced the reference numbers above was not retained, so an independent re-evaluation may differ by a few tenths of a WER point. The MLA card's reported cost used the dev-selected control.

Encoder frozen during fine-tuning; 15,000 steps, warmup+cosine, fp16. Read-speech domain (CommonVoice + FLEURS-validated). "Compression cost" does not apply to this unconverted control.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
d300e47

0 моделей