decider-4b-tr: Türkçe kararlar, kalibre olasılıklar, 1 epoch

English summary. A Turkish LoRA fine-tune (rank 64, merged into the bf16 weights) of Mapika/decider-4b v2.1, a 4.2B decision model on Qwen3.5-4B-Base that returns a calibrated probability for every option of typed choice / noul / score questions in one forward pass, without generating text. Trained for one epoch on 63.990 rows of Turkish decision data (machine-translated bev-decision-150K and SQuAD 2.0, native Turkish MASSIVE, XNLI and movie reviews) plus English replay rows trained toward the base model's own answers. On 101.716 held-out test decisions accuracy goes from 0.689 to 0.796, ECE from 0.028 to 0.020; answerability on Turkish SQuAD 2.0 from 0.683 to 0.862 (AUROC 0.809 → 0.940). The independent jev-bench sets are unchanged. FP8 serving (DECIDER_FP8=1) costs no measurable accuracy here.

Bu model, Mapika/decider-4b'nin (v2.1, Apache-2.0) Türkçe karar verisiyle LoRA fine-tune edilmiş halidir. decider metin üretmez: bir state ve tipli sorular alır, her sorunun her seçeneği için kalibre edilmiş bir olasılığı tek forward pass'te döndürür. Sorular Laya ve TypeSafe Jev ile aynı şemadadır:

• choice: seçeneklerden biri (ör. hangi birim, hangi niyet),
• noul: bir ifadenin doğru olma olasılığı (evet/hayır),
• score: sıralı seviyelerden biri (her seviye ayrı bir evet/hayır satırında değerlendirilir).

Kullanım

Çıkarım kodu (decider/) bu repoda; torch, transformers>=5 ve flash-linear-attention gerekir (hız için causal-conv1d önerilir). Ağırlıklar bf16'da 8,4 GB.

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("hayriyigit/decider-4b-tr", token="hf_...")   # private repo: okuma yetkili bir token
sys.path.insert(0, path)
from decider.infer import Decider

d = Decider(path)
state = "Siparişim iki haftadır gelmedi, kargo takip numarası da çalışmıyor. Paramı geri istiyorum."
questions = {
    "birim": {"type": "choice", "instructions": "Bu talebi hangi birim ele almalı?",
              "criteria": {"fatura": "ödeme, iade, fatura", "kargo": "teslimat ve takip", "teknik": "uygulama veya site hataları"}},
    "iade": {"type": "noul", "instructions": "Müşteri para iadesi istiyor."},
    "memnuniyet": {"type": "score", "instructions": "Müşteri ne kadar memnun?",
                   "criteria": ["Çok memnuniyetsiz", "Memnuniyetsiz", "Nötr", "Memnun", "Çok memnun"]},
}
answers = d.system_one(state, questions)["answers"]

Bu modelin bu örnekteki cevabı:

"birim" sorusunda model iadeyi öne çıkarıyor: müşteri parasını geri istiyor ve "iade" fatura biriminin açıklamasında geçiyor. İki seçenek de makul olduğunda olasılıklar bunu gösterir (0,64 / 0,35).

FP8: DECIDER_FP8=1 (ya da Engine(path, fp8=True)) büyük lineer katmanları yüklerken e4m3 FP8'e çevirir (ağırlıklar kanal, aktivasyonlar token bazında ölçeklenir); ayrı bir dosya gerekmez. Ayrıntılar aşağıda.

Temperature değerleri (soru türü başına, decider_config.json) eğitimde görülmemiş Türkçe kararlarda kalibre edildi: choice 0,936, noul 1,146, score 1,093.

Değerlendirme

Test, laya-tr-karar'ın test setinin aynısıdır (101.716 karar): iki model ailesi satır satır karşılaştırılabilir. "Önce" fine-tune öncesi Mapika/decider-4b'dir. Metni bir test satırında da geçen eğitim satırları eğitimden çıkarılmıştı.

Kaynağa göre

† Train bölümü eğitimde kullanılmayan, bağımsız test setleri. Diğerlerinin train bölümlerinden eğitime satır girdi (test satırları hariç).

Soru türüne göre

Cevaplanabilirlik (SQuAD 2.0 dev, Türkçe)

Soru: "Verilen document, question sorusunun TÜM kısımlarını doğru ve eksiksiz şekilde cevaplamak için yeterli bilgiyi açıkça içeriyor mu? …" (noul), state {"question": …, "document": …}; 11.873 soru, yarısı cevaplanamaz.

Konusu aynı ama istenen bilgiyi içermeyen belgeler, P(evet):

Nasıl okunmalı

• Kazancın çoğu eğitim verisinin geldiği kaynaklarda: bev-tr, SQuAD-tr, beyazperde, MASSIVE ve XNLI. Bağımsız jev-bench setleri (†) yerinde kaldı (0,710 → 0,708); yani model bu veri ailelerini öğrendi, genel bir "Türkçe karar" sıçraması ölçülmedi.
• İngilizce unutulmadı: İngilizce bev doğruluğu arttı, İngilizce jev-bench aynı kaldı.
• Kalibrasyon zaten iyiydi ve iyi kaldı: toplam ECE 0,028 → 0,020. noul'da biraz kötüleşti (0,007 → 0,018).
• Kötüleşen jev-bench alt setleri: civil_comments −7,5, sst5 −4,9, strategyqa_grounded −3,6, helpsteer2_helpfulness −2,9, sms_spam −1,7, mmlu −1,6, ledgar −1,6, arc_challenge −1,1, strategyqa_closed −1,0 puan. Nedeni ayrıca incelenmedi.
• laya-tr-karar ile: bu model 14 kat büyük ve İngilizce bev dışında her kaynakta onun üzerinde; özellikle bağımsız jev-bench'te (Laya 0,496) ve kalibrasyonda (Laya ECE 0,083). Laya çok daha hızlıdır: aynı test setini aynı GPU'da Laya ~2 dakikada, bu model ~1 saatte (eager, CUDA graph'sız) değerlendirdi.

bev-decision alanları (Türkçe test)

jev-bench-tr alt setleri (bağımsız)

FP8

Aynı 13.371 test kararında (rastgele 10.000 satır), RTX 5090:

FP8 doğruluğa ölçülebilir bir maliyet getirmedi; medyan gecikme %37 düştü. Gecikme 300 gerçek test isteğinde, istekler tek tek gönderilerek ölçüldü. Bu isteklerin uzunlukları farklı olduğu için yeni şekillerde CUDA graph yakalaması da ölçüme girdi: %90'lık gecikme (83,2 / 90,2 ms) ve toplam hız bu yüzden temsil edici değildir. Toplu (batch) sunumda hız ölçülmedi.

Eğitim

Satırlar laya-tr-karar'ın veri hazırlığından alındı. 1.500 Türkçe satır (metne göre gruplanmış) validation ve temperature kalibrasyonu için ayrıldı; kalan 63.990 satırdan decider'ın kendi prompt koduyla 169.657 prompt satırı çıktı (56.858.516 token): her soru ayrı satırda, her score seviyesi ayrı bir evet/hayır satırında, seçenek sırası karıştırılarak.

Eğitim ve değerlendirme kayıtları (config, eğitim kaydı, önce/sonra raporları, FP8 ölçümleri) training/ klasöründe.

Sınırlamalar

• Eğitim verisinin çoğu makine çevirisidir; bağımsız Türkçe testlerde (jev-bench) iyileşme görülmedi.
• Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce threshold'ları kendi verinizle kontrol edin.
• Base modelin sınırlamaları geçerlidir (bkz. decider-4b kartı): RL aşaması yok, zor multi-hop sorularda fazla emin olabilir.
• Yalnızca Türkçe ve İngilizce değerlendirildi.
• FP8 hızı yalnızca tek tek isteklerde, medyan gecikme olarak ölçüldü.

Lisans

Base model Apache-2.0'dır. Eğitim verilerinin lisansları farklıdır; ayrıntılar LICENSE.md'de.