flag-CoT судья качества ответов ассистента (Qwen3-14B)

Оценивает ответ виртуального ассистента по методологии LAP++ V7 и выдаёт две метки:

• gcr ∈ {present, partial, absent} — достижение цели диалога
• product_vision ∈ {present, absent} — соответствие продуктовому видению

Отличие от прошлой 8B-версии: рассуждение структурировано по рубрикам, после каждой стоит типизированный флаг [[id=значение:тип]] (bin / cat3), а итоговые метки выводятся из флагов (подход CheckEval / BinEval) — цепочку можно аудировать.

Формат

Вход — system prompt (LAP++ V7 + каталог флагов) + user:

Вопрос клиента:
{query}

Контекст (пассажи):
{пассажи через "\n---\n"}

Ответ ассистента:
{answer}

Выход:

<think>1) Намерение … [[intent_clear=да:bin]]  2) … [[passage_rel.1=релевантный:cat3]] … 8) …</think>
```json
{"gcr": "present", "product_vision": "absent", "flags": {...}}
```

Обучение

• База: unsloth/Qwen3-14B, LoRA r=128 / alpha=128 (rsLoRA), слито в bf16
• 3 эпохи, lr 2e-4 (cosine, warmup 5%), эфф. batch 16, adamw_8bit, seq 20480
• Данные: дистилляция flag-CoT из GLM-5.2 на размеченных экспертами диалогах (фильтр: schema_valid + claims_aligned + самосогласованность флагов)

Инференс

vLLM, bf16. Self-consistency: 10 сэмплов @ T=0.5, голосование большинством. Стоп-строки — на закрывающем ``` фенсе.