SykoLLM-V3.2-Thinking-Beta-Instruct (300M) 🇹🇷
SykoLLM-V3.2, tamamen sıfırdan eğitilmiş (built from scratch), Türkçe dil yapısına özel olarak optimize edilmiş 300 Milyon parametreli deneysel bir Büyük Dil Modelidir (LLM).
Bu model, mevcut popüler modellerin (Llama, Qwen vb.) üzerine fine-tune DEĞİLDİR. Mimarisi, tokenizer'ı ve ağırlıkları tamamen özgün bir şekilde geliştirilmiştir.
Modelim HALA gelişmektedir. o yüzden hatalar kaçınılmaz olacaktır. bunu dikkate alarak kullanmanızı tavsiye ederim.
🌟 Modelin Hikayesi ve Özellikleri
Bu proje, "Büyük modeller her zaman daha iyidir" algısına karşı, verimli ve optimize edilmiş küçük modellerin neler yapabileceğini test etmek amacıyla geliştirilmiştir.
- Tamamen Yerli Tokenizer: 50.000 kelimelik (vocab size) özel tokenizer eğitildi. Türkçe'nin eklemeli yapısına (agglutinative) tam uyumlu olması için tasarlandı. Bu sayede model, diğer çok dilli modellere göre daha az token ile daha fazla Türkçe içerik ifade edebilir.
- Sıfırdan Eğitim (Pre-training): Model, T4 GPU'lar üzerinde Wikipedia verileri ile dilin temel yapısını (morfoloji ve sentaks) öğrenmek için yüksek öğrenme oranı (High Learning Rate) ile "agresif" bir başlangıç eğitimi aldı.
- Instruct Tuning: Temel eğitimin ardından, A100 GPU üzerinde 100.000+ satırlık Instruct (Talimat) verisi ile sohbet yeteneği kazandırıldı.
- Donanım & Optimizasyon: Eğitim sürecinde
Flash Attention 2,bfloat16vetorch.compileteknolojileri kullanılarak A100 GPU'nun sınırları zorlandı.
⚙️ Teknik Detaylar
| Özellik | Değer |
|---|---|
| Model Tipi | Causal Decoder-Only Transformer |
| Parametre Sayısı | ~300 Milyon |
| Context Window | 1024 Token |
| Vocab Size | 50.257 (Özel Türkçe Tokenizer) |
| Eğitim Donanımı | NVIDIA T4 (Pre-train) -> NVIDIA A100 (SFT) |
| Eğitim Formatı | Instruct (User/Assistant) |
🚀 Nasıl Kullanılır?
Model özel mimari ve tokenizer içerdiği için trust_remote_code=True parametresi önemlidir.
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "syko818121/SykoLLM-V3.2-Thinking-Beta-Instruct"
# Model ve Tokenizer Yükleme
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True
)
# Prompt Formatı
system_prompt = "Sen yardımsever bir yapay zeka asistanısın."
user_input = "Yapay zeka gelecekte dünyayı nasıl değiştirecek?"
prompt = f"### user: {user_input}\n### assistant:"
# Inference
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=256,
do_sample=True,
temperature=0.7,
top_p=0.9,
repetition_penalty=1.2,
pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))