decider-4b-tr-judge-ttl: Türkçe RAG relevance judge ve cache TTL sınıflandırıcısı

English summary. A fourth LoRA round (rank 64, merged into the bf16 weights) on hayriyigit/decider-4b-tr-judge that serves two decisions from one model: (1) a RAG relevance judge (noul: does the document carry information that contributes to the answer? partial evidence counts) and (2) a cache TTL classifier (choice: realtime / hourly / daily / stable). New training data: NoMIRACL-tr (human relevance labels), BoolQ-tr, LLM-written Turkish pairs for the categories a load test showed missing, and Turkish web pages labeled by two teacher models. On the human-labeled NoMIRACL-tr test, relevant-passage recall goes 0,678 → 0,726 with non-relevant 0,837 → 0,823 (AUROC 0,837 → 0,862): a small gain, and the model still rejects about a quarter of the passages people judged relevant. TTL accuracy 0,971 on 274 held-out pages (teacher labels, few hourly / realtime pages).

hayriyigit/decider-4b-tr-judge üzerine dördüncü bir LoRA turu. Aynı model iki kararı veriyor:

1. Relevance judge (noul): RAG'de getirilen belge, sorunun cevabına doğrudan katkı sağlayan bilgi içeriyor mu? Kısmi cevap yeterlidir; bilgi sorudaki varlığa, kuruma, özelliğe ve döneme ait olmalıdır.
2. Cache TTL (choice): cache'e yazılacak bir sayfanın etrafında kurulduğu en hızlı değişen bilgi ne sıklıkla değişir? realtime (5 dakika), hourly (6 saat), daily (3 gün), stable (30 gün).

Kullanım

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("hayriyigit/decider-4b-tr-judge-ttl")
sys.path.insert(0, path)
from decider.infer import Decider

d = Decider(path)

# 1. relevance judge
JUDGE = {"relevant": {"type": "noul", "instructions": JUDGE_INSTRUCTION}}
state = {"question": "Ürün A'nın azami hızı nedir?",
          "document": "[2026-08-14] Ürün A teknik özellikleri\n\n…gövde…",   # en fazla 4000 karakter
          "today": "2026-10-07"}                                            # today en sonda
p_yes = d.system_one(state, JUDGE)["answers"]["relevant"]["noul"]

# 2. cache TTL
TTL = {"ttl": {"type": "choice", "instructions": TTL_INSTRUCTION, "criteria": TTL_CRITERIA}}
state = {"question": "Şehir Y'de bugün hava nasıl?",
          "document": "Şehir Y hava durumu\n\n…sayfa metni…",                # en fazla 8000 karakter
          "today": "2026-10-07"}
answer = d.system_one(state, TTL)["answers"]["ttl"]

Soru metinleri eğitimdekiyle birebir aynı gönderilmelidir.

JUDGE_INSTRUCTION:

document, question sorusunun cevabına doğrudan katkı sağlayan bilgi içeriyor mu? Bilgi, soruda geçen varlığa, kuruma, özelliğe ve döneme ait olmalı; kısmi cevap yeterlidir. Aynı türden bilginin başka bir varlık, kurum ya da dönem için verilmesi; doğru varlık için başka bir metrik ya da alt konu; today tarihine göre yanlış dönem; yalnızca başlık, menü, bağlantı listesi, çerez ya da kişisel veri metni; cevaba katkısı olmayan genel anlatım HAYIR'dır. Yalnızca belgeye dayan.

TTL_INSTRUCTION:

Bu sayfa önbelleğe yazılacak. Sayfanın etrafında kurulduğu en hızlı değişen bilgi ne sıklıkla değişir? Sayfanın yaşı değil, bilginin değişme hızı belirler: biten bir olayı anlatan eski bir haber stable, süren bir olayın canlı akışı hourly olur. question yalnızca bağlamdır; aynı sayfa her soruda aynı sınıfı alır.

TTL_CRITERIA (anahtar → seçenek metni):

• realtime: realtime (5 dakika): dakikalar içinde değişen bilgi; döviz ve altın kuru, borsa ve kripto fiyatı, canlı skor, anlık trafik
• hourly: hourly (6 saat): gün içinde güncellenen bilgi; süren olayın canlı akışı, son dakika, bugünün hava tahmini, gün içi sefer durumu
• daily: daily (3 gün): günler içinde değişebilen bilgi; fiyat listesi, kampanya, çeyrek sonuçları, etkinlik takvimi, seans, ilan
• stable: stable (30 gün): haftalarca değişmeyen bilgi; tanım, tarihçe, rehber, ürün teknik özellikleri, mevzuat, biten olayın haberi

Girdi biçimi:

• State alanları question, document, today sırasıyla verilmeli; today en sonda.
• document: [yayın tarihi] başlık, boş satır, gövde. Judge için 4000, TTL için 8000 karakter. Tarihi olmayan belge başlık, boş satır, gövde biçiminde verildi; TTL sayfaları eğitimde tarihsiz verildi.
• TTL kararını argmax yerine risk sınırlı vermek için: her aday süre için "gerçek sınıf bundan kısa" olasılığını toplayın ve bu olasılığın ε'nin altında kaldığı en uzun süreyi seçin (sıra: realtime < hourly < daily < stable). ε'yi kendi verinizde seçin.

Temperature değerleri (decider_config.json): noul 0,991, choice 0,302; eğitim karışımından ayrılmış 1.415 noul ve 85 choice kararında fit edildi. Choice için 85 karar azdır ve 1'in çok altındaki değer (modelin TTL olasılıklarını keskinleştirir) bu küçük örneklemden gelir. Üretimdeki önsel farklıdır (judge'da sonuçların çoğu relevant, TTL'de stable çoğunluk); temperature, threshold ve ε kendi verinizde yeniden seçilmelidir.

Değerlendirme

Test satırları eğitimde görülmedi. "Önce" başlangıç modelidir (decider-4b-tr-judge), aynı girdi biçimi ve aynı soru metinleriyle ölçüldü. Toplam 21.050 karar: doğruluk 0,882 → 0,887, ECE 0,062 → 0,054.

Relevance judge

En az 2 puan değişen değerler kalın yazıldı. NoMIRACL-tr tümü: AUROC 0,837 → 0,862.

Cache TTL

Toplam doğruluk 0,872 → 0,971, ECE 0,125 → 0,024. "Önce" modeli TTL için eğitilmemişti. Test sayfaları eğitim sayfalarından site bazında ayrıldı (sentetik sayfalar tek tek).

Nasıl okunmalı

• İnsan etiketli NoMIRACL-tr'de kazanç küçük. Relevant passage'ları kabul etme oranı 0,678 → 0,726; model insanların relevant bulduğu passage'ların hâlâ yaklaşık dörtte birini reddediyor. Relevant olmayanları bilme 0,837 → 0,823. Bu set, modelin eğitim verisiyle aynı yöntemle kurulmamış tek relevance setidir; canlı web için en gerçekçi gösterge budur.
• BoolQ-tr ve sentetik v2'deki büyük kazançlar eğitim dağılımı içinde. BoolQ-tr'nin bütün satırları "evet"tir; model bu kaynağın soru biçimini ve passage'larını eğitimde gördü. 0,998 bu yüzden bir üst sınırdır.
• Bağımsız SQuAD 2.0-tr'de cevaplanamazları bilme düştü (0,832 → 0,808): model biraz daha "evet"e kaydı.
• TTL etiketleri insan etiketi değildir. Doğruluk, iki teacher modelin uyuştuğu etiketlerle uyumu ölçer. hourly (17 sayfa) ve realtime (18 sayfa) test sayfaları azdır; tek bir sayfa yaklaşık 6 puan eder.
• "Tehlikeli hata" ölçülmedi. Gerçekte daha kısa ömürlü bir sayfaya daha uzun TTL verme oranı bu raporda yok; bunun için satır bazında tahminler ve insan onaylı bir altın set gerekir.
• Genel karar becerisinin (bev, jev-bench vb.) korunup korunmadığı ölçülmedi; eğitimde 7.000 replay satırı vardı.

Validation

Eğitim karışımından belgeye göre gruplanarak ayrılmış 1.500 satır (judge ve TTL birlikte): doğruluk 0,935, cross-entropy 0,141.

Eğitim verisi

• Önceki turun kaynakları (HotpotQA, 2WikiMultihopQA, MuSiQue, sentetik v1, şablon, konu dışı, SQuAD) yaklaşık yarı oranda yeniden örneklendi; yeni kaynakların hepsi kullanıldı.
• TTL satırları: stable sayfalar (iki teacher'ın uyuştuğu sayfaların %73'ü) 1.200'e indirildi. realtime, hourly ve daily sayfalar iki kez kullanıldı: bir kez teacher'ın yazdığı kullanıcı sorusuyla, bir kez soru yerine sayfa başlığıyla. Amaç, etiketin sorudan değil sayfadan gelmesi. Sınıf dağılımı: realtime 506, hourly 408, daily 648, stable 1.200.
• Judge satırlarının ~%17'sinde soru anahtar kelime sorgusu biçimindeydi (sentetik v2'de writer'ın yazdığı sorgu, diğerlerinde kural tabanlı dönüşüm).
• Değerlendirme setleri dışarıda tutuldu. Belirli bir değerlendirme setinin (judge set) adları ve bir yük testinin soru konuları, eğitim satırlarından ve sentetik üretimden çıkarıldı.

Eğitim

Eğitim ve değerlendirme kayıtları training/ klasöründe.

Sınırlamalar

• Canlı web sonuçlarında, kullanıcının judge set'inde ve gerçek cache trafiğinde henüz ölçülmedi.
• Judge eğitim verisinin çoğu Vikipedi paragraflarının makine çevirisi ve LLM üretimi belgelerdir. TTL sayfaları eski web taramalarından ve LLM üretiminden gelir; etiketleri teacher modellerindir.
• Soru metinleri ve girdi biçimi değişirse sonuçlar değişir.
• Genel karar becerisi ve FP8 bu model için ölçülmedi.

Lisans

Taban modelin ve eğitim verilerinin lisansları farklıdır; ayrıntılar LICENSE.md'de.