/ Модель

Характеристики

Контекст
1 024 токена
Лицензия
MIT
Архитектура
whisper · dense
Базовая модель
whisper-small
Библиотека
transformers
Опубликована
27 июн 2026

medvoice-jp-whisper-small-ft-n60

Распознавание речиАудио → текст3 профессии

Модель на базе Whisper small для черновой транскрибации японской речи в медицинских учреждениях.

18скачиваний за 30 дней0лайковвеса обновлены27 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MedVoice-JP — это модель автоматического распознавания японской речи в медицинских сценариях, созданная на базе Whisper small и дообученная авторами репозитория. Она принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для черновой расшифровки речи медицинских работников; предполагается, что результат проверит человек.

Модель построена на архитектуре Whisper и имеет 244 млн параметров. Для полного дообучения использовались около 3 600 высказываний 60 медицинских работников, охватывающих 22 специальности, уход, фармацевтику и другие медицинские профессии. В оценке на 155 высказываниях CER составила 0,1194 против 0,2906 у исходной Whisper small; авторы также сообщают о снижении ошибок в медицинских терминах. Репозиторий содержит веса SafeTensors, лицензия — MIT.

Модель не является медицинским изделием и не предназначена для диагностики или выбора лечения. На пожилой речи точность снижается, качество может зависеть от говорящего; авторы отмечают возможное небольшое ухудшение распознавания общеупотребительных слов после дообучения. Оценка проведена на небольшой выборке.

Сценарии применения

  • транскрибация речи медицинских работников на японском языке
  • подготовка черновиков медицинских заметок по аудиозаписям
  • распознавание японской медицинской терминологии в диктовке
  • расшифровка речи специалистов по уходу и фармацевтике

Ограничения

Точность снижается на речи пожилых людей и может различаться между говорящими; оценка ограничена 155 высказываниями. Возможна небольшая деградация распознавания общеупотребительных слов; транскрипции требуют проверки человеком, модель не предназначена для диагностики или лечения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MedVoice-JP — 日本語医療特化 ASR (whisper-small, フル fine-tuning, 60話者)

日本語の医療現場の発話を、汎用 ASR より正確に文字起こしする fine-tuning 済みモデル。 60名の医療関係者の声で学習(whisper-small ベース)。

⚕️ 医療機器ではありません。 文字起こし補助(人間の確認が前提)であり、診断・治療判断には使用しないでください。

結果(eval-P2 ベンチマーク, 155発話)

モデルCER ↓TermMiss ↓
baseline (whisper-small 素)0.29060.7208
このモデル (Full FT, 60話者)0.11940.3344
参考: LoRA版 (同データ)0.11680.3409

→ CER 約60%削減 / 医療用語ミス 約53%削減。

詳細

  • ベース: openai/whisper-small (244M, MIT)
  • 手法: フル fine-tuning(encoder 凍結 + decoder 学習), bf16
  • 学習データ: 同意済みボランティア 60話者 / 約3,600発話(患者データではありません)。日本語医療ドメイン(22診療科 + 看護/薬剤/その他医療職)。
  • 評価指標: CER (micro) + TermMiss (医療用語 recall)

使い方

from transformers import WhisperForConditionalGeneration, WhisperProcessor
import librosa
M = "NikotoraIi/medvoice-jp-whisper-small-ft-n60"
proc = WhisperProcessor.from_pretrained(M, language="japanese", task="transcribe")
model = WhisperForConditionalGeneration.from_pretrained(M)
audio, _ = librosa.load("your_audio.wav", sr=16000, mono=True)
feats = proc(audio, sampling_rate=16000, return_tensors="pt").input_features
ids = model.generate(feats, language="japanese", task="transcribe", max_new_tokens=225)
print(proc.batch_decode(ids, skip_special_tokens=True)[0])

限界

  • 高齢者音声で精度劣化。話者コホートにより性能変動。
  • 小データ fine-tuning 由来の一般語の軽微な劣化があり得る(部分的忘却。データ増で改善見込み)。
  • 小規模評価(155発話)。医療機器非該当(文字起こし補助)。

倫理・データ

  • 全話者から研究利用・公開の明示同意取得。連絡先等の PII は非公開。生音声・話者識別情報は非公開。

ライセンス

MIT。ベース openai/whisper-small は MIT。MEDIS 標準病名マスター本体は再配布せず。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
f49e295

0 моделей