Whisper Large V3 - Türkçe Genel ASR (M1)
OpenAI whisper-large-v3 modelinin yaklaşık 140 saatlik dengeli genel Türkçe konuşma
verisiyle LoRA üzerinden uyarlanmış, ardından temel modele birleştirilmiş sürümüdür.
Bu repo tam transformers modelini ve işlemci dosyalarını içerir.
M1, TurkMedSTT kontrollü ablasyonunun yalnız genel Türkçe verisiyle eğitilen koludur.
Medikal veri içeren M2 modeli:
turkmedstt/whisper-large-v3-turkish-medical.
Model ailesi
| Kısaltma | Model | Eğitim farkı | Kullanım amacı |
|---|---|---|---|
| M0 | openai/whisper-large-v3 | Ek uyarlama yok | Temel karşılaştırma modeli |
| M1 | Bu repo | Genel Türkçe konuşma ile LoRA | Genel Türkçe ASR |
| M2 | turkmedstt/whisper-large-v3-turkish-medical | Genel Türkçe + sentetik medikal konuşma | Tıbbi terminoloji araştırması |
Bu ayrım kontrollü ablasyon içindir: M1 ve M2 aynı temel model ve benzer eğitim yapısını kullanır; temel deneysel fark M2 eğitimine medikal verinin eklenmesidir.
Eğitim
- Temel model:
openai/whisper-large-v3 - Yöntem: LoRA, hedef modüller
q_proj,v_proj - LoRA:
r=64,alpha=128, dropout0.05 - Öğrenme oranı:
1e-4 - Eğitim: 1 epoch
- Veri: yaklaşık 140 saat dengeli Türkçe konuşma (Common Voice, ISSAI ve OpenSLR kaynakları)
- Veri hazırlama reçetesi (kaynaklar, lisanslar, temizleme kuralları, sayılar ve yeniden üretim): https://github.com/muhammedkumcu/turkmedstt/blob/main/docs/DATA_PIPELINE.md
Sonuçlar
320 gerçek, medikal olmayan Türkçe klipte:
| Model | WER | CER |
|---|---|---|
M0 whisper-large-v3 | 0.1213 | 0.0546 |
| M1 genel Türkçe | 0.0792 | 0.0226 |
| M2 genel + medikal | 0.0795 | 0.0228 |
Bu sonuç M1'in genel Türkçe başarımını iyileştirdiğini, M2'nin ise bu kazanımı büyük ölçüde koruduğunu gösterir.
Metrikler nasıl okunmalı?
| Metrik | Tanım | Yorum |
|---|---|---|
| WER | (değiştirme + silme + ekleme) / referans kelime sayısı | Düşük değer daha iyidir. 0.0792, yaklaşık %7,92 kelime hatası anlamına gelir. |
| CER | Aynı hata hesabının karakter düzeyinde uygulanması | Türkçedeki ekler ve yazım farklılıkları için WER'i tamamlar. Düşük değer daha iyidir. |
Tablodaki değerler 320 gerçek ve medikal olmayan Türkçe klibin klip-bazlı makro ortalamasıdır. Bu sonuçlar her kayıt ortamında aynı başarımın garanti edildiği anlamına gelmez; mikrofon, aksan, konuşma hızı ve arka plan gürültüsü dağılımı değiştirebilir.
20 model ve 1.060 genel Türkçe klibi kapsayan geniş benchmark:
turkmedstt/turkish-asr-benchmark.
Önerilen kullanım alanları
- Türkçe ses kayıtlarının araştırma amaçlı çevrimdışı transkripsiyonu
- Türkçe ASR model karşılaştırmaları ve hata analizi
- Alan-özel modeller için başlangıç noktası veya kontrollü temel model
- İnsan denetimli altyazı ve metin hazırlama iş akışları
Sınırlamalar
- Klinik kullanım veya otomatik karar verme için tasarlanmamıştır.
- Aksan, gürültü, örtüşen konuşma ve alan dışı terminoloji başarımı düşürebilir.
- Eğitim kaynaklarının tamamı bu repo içinde yeniden dağıtılmaz.
- Konuşmacı kimliği, zaman damgası, diarization veya noktalama doğruluğu ayrıca değerlendirilmemiştir.
- WER ve CER dilsel doğruluğu ölçer; metnin olgusal veya klinik olarak doğru olduğunu garanti etmez.
Kullanım
import torch
from transformers import pipeline
model_id = "turkmedstt/whisper-large-v3-turkish-general"
device = 0 if torch.cuda.is_available() else -1
dtype = torch.float16 if torch.cuda.is_available() else torch.float32
transcriber = pipeline(
"automatic-speech-recognition",
model=model_id,
torch_dtype=dtype,
device=device,
)
result = transcriber(
"ornek.wav",
generate_kwargs={"language": "tr", "task": "transcribe"},
)
print(result["text"])
Model birleştirilmiş tam ağırlıkları içerdiği için ayrıca LoRA adaptörü yüklenmez.
GPU kullanımı önerilir; CPU üzerinde çıkarım mümkündür ancak large-v3 boyutu nedeniyle
yavaş olabilir. Girdi sesi kod tarafından Whisper işlemcisine uygun örnekleme oranına
dönüştürülmelidir.
Repo içeriği
model.safetensors: birleştirilmiş model ağırlıklarıconfig.json,generation_config.json: model ve üretim ayarları- tokenizer ve feature extractor dosyaları: ses/metin ön ve son işleme bileşenleri
training_metadata.json: yayın için saklanan eğitim özeti
Lisans ve kaynaklar
Birleştirilmiş model Apache-2.0 altında yayımlanır. Temel whisper-large-v3 modeli
MIT lisanslıdır. Eğitim veri kaynaklarının kendi lisansları ve kullanım koşulları
geçerlidir; bu repo ham eğitim seslerini içermez.
Atıf
TurkMedSTT bitirme projesi, 2026.
Katkı verenler
Muhammed Kumcu ve Yağmur Tuncer; proje tasarımı, veri hazırlama, model eğitimi, yazılım geliştirme, değerlendirme, dokümantasyon ve yayın çalışmalarını birlikte yürütmüştür.
Teşekkür
Gerçek-ses değerlendirme kayıtlarına gönüllü katkıları için Zeynep Zehra Kumcu ve Yusuf Uysal'a teşekkür ederiz. Bu kayıtlar yayımlanmamış, yalnız anonim ve toplu sonuçlar raporlanmıştır.