Whisper Base Hungarian Soup

Magyar nyelvre finomhangolt openai/whisper-base modell, amely két korábbi finomhangolás súlyátlagolásával (model soup) készült.

A modell a 90%-ban a whisper-hu-base-finetuned-V2 és 10%-ban a whisper-base-hungarian_v4 súlyaiból áll — és mindkét alapmodellnél jobban teljesít.

Hogyan készült — a merge részletei

A módszer: súlyátlagolás (model soup)

Mindkét alapmodell ugyanabból az openai/whisper-base súlykészletből indult, ezért a hálózati topológiájuk és a state dict kulcsaik azonosak. A merge minden egyes paraméterre kiszámolja a súlyozott átlagot:

w_merged = α · w_V2 + (1 − α) · w_V4

minden rétegre és paraméterre külön-külön (encoder, decoder, embeddignek, fejek — a teljes state dict).

Az arány keresése

Az α arányt empirikusan hangoltuk a FLEURS hu_hu test készleten (beam=1, normalizált WER):

Az optimum α = 0.90 (90% V2 + 10% V4). A V4 10%-nyi súlya épp annyi zaj-robusztusságot és adatváltozatosságot ad hozzá, hogy a V2 hibáit kisimítsa anélkül, hogy a tiszta teljesítményét rontaná.

Eredmények

Tiszta anyag — FLEURS hu_hu test (normalizált WER)

Common Voice 17.0 hu test (normalizált WER)

*A Common Voice 17.0 train+valid spliteket a V2 tréningje tartalmazta, ezért ott az eredményei nem teljesen függetlenek. Ennek ellenére a soup csak ~0.5 ponttal marad el tőle, miközben a többi készleten veri.

Zajos anyag (~10 dB MUSAN zaj, 905 minta, beam=1)

Összegzés

• FLEURS: 1.7 ponttal jobb, mint a legjobb alapmodell (V2)
• Zajos anyag: 1.4 ponttal jobb, mint a legjobb alapmodell (V2)
• CV17: ~0.5 ponttal a V2 mögött (amely a CV17 train/valid-ot látta), de 4 ponttal a V4 előtt

Az alapmodellek

A két modell eltérő adaton és célokkal tanult — a soup pontosan ezt a kiegészítő információt hasznosítja.

Intended uses & limitations

Magyar nyelvű beszédfelismerésre készült. Felolvasott, stúdióminőségű beszéd mellett zajos környezetben is megbízhatóan működik. Élőbeszéd, telefonbeszélgetés vagy erős akusztikai torzítás esetén a teljesítmény elmaradhat a felolvasott anyagon mért értékektől.

A modell kereskedelmi felhasználása a hozzájárulás nélkül nem engedélyezett. Magáncélra a Whisper eredeti licencfeltételei szerint szabadon használható.

Használat

from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="sarpba/whisper-base-hungarian-soup",
)
result = pipe("magyar_beszed.wav", generate_kwargs={"language": "hungarian", "task": "transcribe"})
print(result["text"])

Reprodukálás

A soup a következő képlettel reprodukálható a két alapmodellből:

import torch
from transformers import AutoModelForSpeechSeq2Seq

alpha = 0.90  # V2 aránya
m2 = AutoModelForSpeechSeq2Seq.from_pretrained("sarpba/whisper-hu-base-finetuned-V2")
m4 = AutoModelForSpeechSeq2Seq.from_pretrained("sarpba/whisper-base-hungarian_v4")

sd2, sd4 = m2.state_dict(), m4.state_dict()
merged = {k: alpha * sd2[k].float() + (1 - alpha) * sd4[k].float() for k in sd2}

m = AutoModelForSpeechSeq2Seq.from_pretrained("openai/whisper-base")
m.load_state_dict(merged, strict=True)