TildeOpen-30B · PINKpro (DE, 64k)
LoRA-SFT (bf16, keine Quantisierung) auf Basis von TildeAI/TildeOpen-30b-64k — ein deutschsprachiger, RAG-orientierter Lernassistent (Fuehrung / Vertrieb / Paedagogik) mit Kontextfenster bis 64k.
Training (zweiphasig)
- Phase A (kurz/mittel, 8k): Nemotron-Instruction-Following-Chat (reasoning_off) + deutsche Wikipedia-Zusammenfassungen (Wirtschaft/Psychologie/Paedagogik) + Firmen-Single-Turn.
- Phase B (Long-Context, bis 64k): Firmen-Multiturn + RAG-Dokumente, mit Distraktoren aufgefuellt.
- Nur Anoynme Daten ohne Personen-/Firmenbezug.
Chat-Format
Rollen-Marker <|system|> / <|user|> / <|assistant|>; Assistant-Turns enden mit dem nativen
<|endoftext|> (= EOS/Stop). Das Template ist im Tokenizer hinterlegt:
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(REPO, dtype="bfloat16", device_map="auto")
msgs = [{"role":"system","content":"... ## Kontextdokumente ... [DOK 1] ..."},
{"role":"user","content":"Deine Frage"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=600)[0][ids.shape[1]:], skip_special_tokens=True))
Attribution / Lizenz
- Basismodell: TildeAI/TildeOpen-30b-64k.
- Trainingsdaten enthalten NVIDIA Nemotron (Lizenz ODC-By) → Attribution erforderlich.
Limitierungen
- Ausgaben koennen fehlerhaft sein; nicht fuer Rechts-/Finanz-/Medizin-Entscheidungen ungeprueft nutzen.