SykoLLM-V3.3-Beta (Non-Trained) 🇹🇷
Bu repo, SykoLLM V3.3 sürümünün eğitim öncesi (randomly initialized) iskelet modelini içerir. Model Llama 3 mimarisi üzerine inşa edilmiştir ve özellikle Türkçe dil yetenekleri için optimize edilecek şekilde tasarlanmıştır.
🚨 DİKKAT: Bu model henüz EĞİTİLMEMİŞTİR (Untrained). Ağırlıkları rastgeledir. Şu haliyle anlamlı cevaplar veremez. Pre-training (CulturaX veri seti ile) süreci yakında başlayacaktır.
Model Mimarisi ve Özellikler
Bu model, standart Llama 3 mimarisini takip eder ancak 1.5 Milyar parametre sınıfına uyarlanmıştır.
| Özellik | Değer | Açıklama |
|---|---|---|
| Parametre Sayısı | ~1.61 Milyar | Giriş seviyesi LLM için ideal denge |
| Context Size | 8K (8192) | Uzun metinleri anlama kapasitesi |
| Vocab Size | 128k | Llama 3 Tokenizer (Zengin Türkçe desteği) |
| Hidden Size | 2048 | Model genişliği |
| Layers | 24 | Katman sayısı |
| GQA | Var | Grouped Query Attention (Daha hızlı inference) |
Yol Haritası 🗺️
- Model mimarisinin belirlenmesi (Llama 3 tabanlı 1.5B)
- Hugging Face reposunun oluşturulması
- Pre-training: uonlp/CulturaX veri seti ile A100 GPU üzerinde eğitim
- Fine-tuning: Türkçe talimat (instruct) veri setleri ile ince ayar
Geliştirici Notu
Ben Burak (15), bu model üzerinde sıfırdan model eğitimi deneyimleri yapıyorum. Önceki V3.2 (320M) modelimden elde ettiğim tecrübeleri, şimdi A100 donanımı ve modern Llama 3 mimarisi ile birleştirerek 1.5B seviyesine taşıyorum.
Geliştirici: syko818121