Laya TR: Türkçe karar modeli

English summary. A Turkish fine-tune of convaiinnovations/laya-multilingual, the non-autoregressive "System 1" decision model of Laya: it answers typed choice, noul (yes/no) and score questions about a text in a single forward pass and returns calibrated probabilities. Trained for 2 epochs on 285,363 decisions (machine-translated bev-decision-150K, its English originals and native Turkish MASSIVE, XNLI and movie reviews). On 89,838 held-out test decisions accuracy goes from 0.432 to 0.681 and ECE from 0.277 to 0.070.

Bu model, Laya'nın çok dilli kontrol noktası convaiinnovations/laya-multilingual (mmBERT tabanlı) üzerine Türkçe karar verisiyle fine-tune edilmiş halidir. Laya metin üretmez: bir metin (state) ve tipli sorular alır, her soru için tek forward pass'te kalibre edilmiş olasılıklar döndürür.

• choice: seçeneklerden biri (ör. hangi departman, hangi niyet),
• noul: bir ifadenin doğru olma olasılığı (evet/hayır),
• score: sıralı seviyelerden biri (ör. 1-5 memnuniyet).

Kullanım

import laya

agent = laya.load("hayriyigit/laya-tr-test", token="hf_...")   # private repo: okuma yetkili bir token

state = "Siparişim iki haftadır gelmedi, kargo takip numarası da çalışmıyor. Paramı geri istiyorum."
questions = {
    "birim": {
        "type": "choice",
        "instructions": "Bu talebi hangi birim ele almalı?",
        "criteria": {"fatura": "ödeme, iade, fatura", "kargo": "teslimat ve takip", "teknik": "uygulama veya site hataları"},
    },
    "iade": {"type": "noul", "instructions": "Müşteri para iadesi istiyor."},
    "memnuniyet": {
        "type": "score",
        "instructions": "Müşteri ne kadar memnun?",
        "criteria": ["Çok memnuniyetsiz", "Memnuniyetsiz", "Nötr", "Memnun", "Çok memnun"],
    },
}
answers = agent.predict(state, questions)["answers"]

Bu modelin bu örnekteki cevabı:

Her cevapta tüm seçeneklerin olasılıkları (probabilities) ve threshold koymak için answer_confidence da döner.

Soru başına bağlam 8.192 token (soru ve seçenekler için 768); kısa girdiler yalnızca kendi uzunlukları kadar işlenir. Temperature değerleri (choice, score, noul) eğitimde görülmemiş Türkçe kararlarda kalibre edildi: 0,909, 1,236, 0,870.

Değerlendirme

Test kararlarının hiçbiri eğitimde görülmedi; metni bir test satırında da geçen eğitim satırları, İngilizce orijinaller üzerinden eşleştirilerek eğitimden çıkarıldı (aşağıda). "Önce" sütunu fine-tune öncesi laya-multilingual'dır.

Kaynağa göre

Soru türüne göre

Nasıl okunmalı

• Kalibrasyon en büyük kazanç: ECE 0,277 → 0,070. Modelin verdiği olasılıklar threshold koymak için kullanılabilir hale geldi.
• İngilizce unutulmadı: eğitime İngilizce orijinallerin ~%25'i karıştırıldı; bev ve jev-bench'in İngilizce testlerinde de doğruluk arttı. Diğer diller ölçülmedi.
• En bağımsız sinyal XNLI (+4,5 puan): ayrı kaynaklı, insan çevirisi bir test. MASSIVE ve beyazperde'deki büyük artışlar kısmen bu kaynakların train bölümlerinin eğitimde olmasından gelir.
• Bazı jev-bench alt setleri kötüleşti: civil_comments −8,2, paws −6,7, boolq −5,4, mmlu −1,7 puan. Nedeni ayrıca incelenmedi.
• jev-bench bev ile aynı görev ailelerinden (ör. MASSIVE, CLINC150, SST-5, BoolQ) beslenir; birebir aynı metinler çıkarıldı, ama tamamen bağımsız bir test değildir.

bev-decision alanları (Türkçe test)

jev-bench-tr alt setleri

banking77 (77) ve clinc150 (150 seçenek) gibi çok seçenekli sorularda seçenekler 768 tokenlık soru bütçesine sığmak için kısalır; bu, Laya'nın bilinen bir sınırıdır (#394).

Eğitim sırasında validation

Eğitimden ayrılan, metne göre gruplanmış 1.518 Türkçe karar (temperature kalibrasyonu öncesi):

İkinci epoch çok az katkı verdi; daha fazla epoch önerilmez.

Eğitim verisi

Bunlardan metne göre gruplanmış 1.518 Türkçe karar doğrulama ve kalibrasyon için ayrıldı; bu kararların İngilizce ikizleri de eğitimden çıkarıldı. Eğitimde 285.363 karar kullanıldı.

• Hedefler: Label'lar sorulardan çıkarılıp target dağılımlarına çevrildi. Hard label'lara 0,1 label smoothing uygulandı (doğru cevaba 0,9; score sorularında kalan pay komşu seviyelere). Laya'nın eğitim yöntemi (RLCD) bu dağılımları hedefler.

• Alan dengesi: Türkçenin sinyal taşımadığı ya da etiketlerin gürültülü olduğu bev alanlarından eğitim satırlarının bir kısmı tutuldu:

  Alan	Tutulan oran	Çıkarılan satır
  Software engineering and code	0,3	4.376
  Spatial and logical reasoning	0,3	11.581
  Browser interaction	0,3	3.202
  Engagement and ranking	0,2	3.318

• Decontamination: Bir test satırında da geçen metni içeren eğitim satırları çıkarıldı:

  Eğitim kaynağı	Test kaynağı	Çıkarılan eğitim satırı
  bev-decision-tr	jev-bench-tr	337
  bev-decision-tr	beyazperde	6
  bev-decision-tr	MASSIVE tr-TR	10
  MASSIVE tr-TR	bev-decision-tr	477
  MASSIVE tr-TR	jev-bench-tr	16
  MASSIVE tr-TR	MASSIVE tr-TR	16
  beyazperde	beyazperde	76

• Context budget: Hiçbir eğitim kararı 8.192 tokena sığmadığı ya da doğru seçeneği kısaltılınca başka bir seçenekle aynı göründüğü için çıkarılmadı. Eğitim kararlarının token uzunluğu: medyan 177, %90 494, %99 1.521, en fazla 7.430.

bev-decision-150K'nın Türkçesi bir LLM ile alan bazında çevrildi; kod blokları, tanımlayıcılar, URL'ler ve Mind2Web sayfa öğeleri İngilizce bırakıldı. Ayrıntılar: hayriyigit/bev-decision-150K-tr.

Eğitim

Eğitim config'i, eğitim kaydı ve veri manifest'i training/ klasöründe; tüm metrikler eval_report.json'da.

Sınırlamalar

• Eğitim verisinin çoğu makine çevirisidir; model çeviri dilinin izlerini taşıyabilir. Ana dili Türkçe veri sınırlıdır (~12 bin satır).
• Kod, teknik tanımlayıcılar ve web sayfası öğeleri eğitimde İngilizce kaldı; bu tür girdilerde karışık dil beklenir.
• Yalnızca Türkçe ve İngilizce değerlendirildi; diğer dillerdeki performans fine-tune öncesine göre düşmüş olabilir.
• Kalibrasyon Türkçe veriyle yapıldı; farklı bir alanda kullanmadan önce kendi verinizle threshold'ları kontrol edin.
• 77'den fazla seçenekli sorularda seçenek açıklamaları kısalır.

Lisans

Base model Apache-2.0'dır. Eğitim verilerinin lisansları farklıdır; ayrıntılar LICENSE.md'de. Ticari kullanımdan önce kontrol edin.