Характеристики

Параметры: 905 млн
Архитектура: whisper · dense
Базовая модель: whisper-large-v3-turbo
Библиотека: transformers
Опубликована: 3 фев 2025

Ссылки

Hugging Face

Whisper-Large-v3-turbo-STT-Zeroth-KO-v2

o0dimplz0o

Распознавание речиАудио → текст5 профессий

Дообученная на корейских речевых данных модель Whisper для автоматической транскрипции корейской речи.

270скачиваний за 30 дней11лайковвеса обновлены3 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Whisper Large v3 Turbo STT Zeroth KO v2 — дообученная модель OpenAI Whisper, созданная автором репозитория на базе openai/whisper-large-v3-turbo для автоматического распознавания корейской речи. Модель использует архитектуру Whisper и содержит около 905,3 млн параметров; для работы с ней указана библиотека Transformers.

Модель предназначена для преобразования корейской речи в текст. В README сообщаются результаты текущего этапа дообучения на оценочной выборке: WER 19,9134 и CER 0,0660; автор уточняет, что обучение ещё продолжается. Данные для обучения связаны с Zeroth-STT-Korean; в README указано 102 263 примера с разделением на обучающую и тестовую выборки.

В карточке не указаны условия лицензии. Результаты могут измениться по мере продолжения дообучения, а заявленная специализация ограничена корейским ASR; показатели на других языках и в иных условиях не приведены.

Сценарии применения

транскрибация записей корейской речи
распознавание речи в корейских аудио
создание текстовых субтитров для корейской речи

Ограничения

В README указано, что дообучение продолжается, поэтому приведённые метрики могут измениться; результаты сообщены только для оценочной выборки. Условия лицензии в предоставленных данных не указаны.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Также подходит для

II.10Разработка и эксплуатация AI/ML-систем

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Whisper Large v2 Fine-Tuned for Korean ASR

This model is being fine-tuned from openai/whisper-large-v3-turbo on a custom dataset. It currently achieves the following results on the evaluation set (still fine-tuning):

Loss: 0.0164
Wer: 19.9134
Cer: 0.0660

Model Description

This model is a version of openai/whisper-large-v3-turbo, currently still being incrementally fine-tune in stages, specifically optimized for Korean automatic speech recognition (ASR) tasks. The fine-tuning process aims to deliver high accuracy and timestamped transcriptions for Korean speech.

Dataset Details

Dataset Source: Custom dataset (https://huggingface.co/datasets/o0dimplz0o/Zeroth-STT-Korean)
Number of Samples: 102,263
Split: 93% train, 7% test
Data Augmentation: 20% random, applied only to the training set

Training Details

Hardware: L40S GPU
Learning Rate Scheduler: Cosine
Epochs: [pending completion]
Optimizer: AdamW Torch Fused

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: WhisperForConditionalGeneration
Ревизия весов: 05e8ba9