Vega-100M-Indo

Model bahasa Indonesia 96.6M parameter — dilatih dari nol, gratis, dalam beberapa jam.

🔧 Update Log

v1.2 — Fase 3 Continued Pretraining + Model Inspection (April 2026)

Weight model diperbarui ke checkpoint step 17,500 — hasil lanjutan training Fase 2 (Wikipedia Indonesia) yang sebelumnya berhenti di step 12,182. Sesi ini melanjutkan dari checkpoint-12000 dengan learning rate yang dilanjutkan dari cosine schedule yang sama.

Yang berubah:

• ✅ Weight diperbarui ke checkpoint-17500 (loss turun dari 3.099 → 2.965)
• ✅ Tambah log training Fase 3 lengkap per 100 step
• ✅ Tambah section hasil model inspection (embedding, attention, generation)
• ✅ Upload inspect_vega.py — script untuk membedah perilaku model

v1.1 — Bug Fix Kritis (April 2026)

⚠️ Pengguna sebelumnya wajib baca!

Ditemukan bug kritis: modeling_vegalm.py tidak ikut terupload saat rilis pertama, sehingga semua pengguna sebelumnya tidak bisa load model sama sekali — baik untuk inference maupun fine-tuning. Mohon maaf atas ketidaknyamanannya! 🙏

Fix yang dilakukan:

• ✅ Upload modeling_vegalm.py (arsitektur VegaLM)
• ✅ Update config.json — tambah auto_map dan fix model_type
• ✅ Update cara penggunaan di README

Cara load yang benar (wajib tambah trust_remote_code=True):

model = AutoModelForCausalLM.from_pretrained(
    "Veenn/vega-100m-indo",
    trust_remote_code=True  # ← wajib, tanpa ini error
)

📖 Deskripsi

Vega-100M-Indo adalah causal language model untuk Bahasa Indonesia yang dilatih dari nol (from scratch) di Google Colab dengan GPU T4 gratis — tanpa biaya sepeser pun.

Model ini dirilis di bawah lisensi Apache 2.0 — bebas digunakan, dimodifikasi, dan didistribusikan untuk keperluan apapun, termasuk komersial, selama menyertakan atribusi yang sesuai.

Tentang Knowledge Distillation yang Digunakan

Model ini menggunakan teknik Knowledge Distillation dari Qwen/Qwen3-0.6B sebagai teacher — tapi bukan distilasi konvensional.

Distilasi konvensional bertujuan agar student semirip mungkin dengan teacher: student belajar meniru distribusi output teacher, sehingga menjadi versi yang lebih kecil dan lebih cepat dari model yang sama.

Vega menggunakan distilasi sebagai training accelerator, bukan sebagai cara mentransfer pengetahuan dari teacher ke student. Tujuannya bukan agar Vega menjadi "Qwen versi kecil". Pretraining dari nol di hardware terbatas (T4 16GB) sangat brutal — tanpa sinyal tambahan, model kecil bisa stuck lama di loss tinggi sebelum representasi internal-nya mulai terbentuk. Distilasi di sini berfungsi sebagai scaffolding: sinyal dari representasi intermediate teacher membantu gradien mengalir lebih bermakna di awal training, sehingga model bisa belajar lebih efisien dari data yang sama. Teacher dibuang setelah fase 1 selesai — fase 2 dan 3 berjalan murni dengan CE loss tanpa teacher sama sekali.

Model ini melewati tiga fase training:

1. Pretraining pada Lyon28/Corpus-Indonesia (~175M token dari 1M baris) — dengan distilasi sebagai accelerator
2. Continued Pretraining pada Wikipedia Bahasa Indonesia (3.7M baris, sesi 1–4, hingga step 12,182) — tanpa distilasi
3. Continued Pretraining lanjutan pada Wikipedia Bahasa Indonesia (resume dari step 12,000, hingga step 17,500) — tanpa distilasi

Model ini dirilis sebagai base model — fondasi yang bisa di-fine-tune untuk berbagai downstream task.

🏗️ Arsitektur

Desain Arsitektur

• GQA (Grouped Query Attention): Rasio 8Q:2KV mengurangi memory footprint KV cache tanpa degradasi performa signifikan.
• Hybrid Attention: Layer 2, 5, 8, 11 menggunakan full attention untuk konteks global; layer lainnya pakai sliding window 128 untuk efisiensi.
• SwiGLU FFN: Gated activation function yang terbukti lebih efisien dibanding ReLU/GELU standar.
• Tied Embeddings: Input dan output embedding di-share untuk menghemat parameter.

📊 Training

Fase 1 — Pretraining (Lyon28 Corpus)

Fase 2 — Continued Pretraining (Wikipedia Indonesia, Sesi 1–4)

Fase 3 — Continued Pretraining (Wikipedia Indonesia, Sesi 5)

Resume dari checkpoint-12000, melanjutkan cosine schedule yang sama.

Catatan: Loss di Fase 3 berhasil menembus di bawah 3.0 untuk pertama kalinya di Wikipedia domain — turun dari 3.099 ke 2.965. Tren penurunan masih aktif saat sesi dihentikan di step 17,520.

Log Training Fase 3 (per 100 Step)

📈 Kurva Loss Lengkap

Ringkasan per 1000 Step (Fase 1)

Ringkasan per Sesi (Fase 2 + 3)

⚙️ Cara Penggunaan

⚠️ Penting: Model ini menggunakan arsitektur custom. Wajib menambahkan trust_remote_code=True saat load model, jika tidak akan error.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("Veenn/vega-100m-indo")
model = AutoModelForCausalLM.from_pretrained(
    "Veenn/vega-100m-indo",
    trust_remote_code=True  # wajib untuk arsitektur custom VegaLM
)
model.eval()

prompt = "Bahasa Indonesia adalah"
inputs = tokenizer(prompt, return_tensors="pt")

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        top_k=50,
        repetition_penalty=1.3,
        do_sample=True,
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Inference Config yang Direkomendasikan

generation_config = {
    "max_new_tokens": 100,
    "temperature": 0.8,
    "top_p": 0.9,
    "top_k": 50,
    "repetition_penalty": 1.3,
    "no_repeat_ngram_size": 3,
    "min_new_tokens": 10,
    "do_sample": True,
}

🔬 Model Inspection

Setelah training selesai, model dibedah menggunakan inspect_vega.py untuk memahami perilaku internal — mulai dari representasi embedding, pola attention, distribusi prediksi token, hingga tracing generasi step-by-step. Berikut temuan-temuannya.

Embedding Space

Cosine similarity antar kata menunjukkan bahwa model belum membangun semantic clustering yang kuat di level embedding. Kata-kata yang secara intuitif berkaitan (jakarta–indonesia, gunung–sungai) hanya punya similarity 0.09–0.22 — rendah untuk model yang sudah melihat ratusan juta token. Ini konsisten dengan arsitektur tied embedding: karena embedding input dan output berbagi weight, gradien dari LM objective menarik embedding ke arah prediksi token berikutnya, bukan ke arah semantic similarity antar kata.

Satu anomali menarik: surabaya dan sungai punya cosine similarity = 1.000 — persis identik. Ini hampir pasti karena keduanya di-tokenize ke token yang sama oleh tokenizer Unigram 32K (kemungkinan keduanya collapse ke prefix S atau subword yang overlap).

Nearest neighbors juga masih didominasi prefix token (J, In, S, G) daripada kata-kata semantically related. Ini side effect dari tokenizer Unigram yang agresif split kata kapital jadi subword.

Attention Pattern

Entropy attention per layer berkisar 0.8–1.4 untuk sequence pendek (9 token), yang wajar — pada sequence sepanjang ini semua token masih dalam sliding window 128, jadi tidak ada perbedaan visible antara layer full attention dan sliding window. Perbedaan baru akan terlihat pada sequence panjang (>128 token).

Yang menarik: layer pertama (layer 0) punya entropy paling rendah (0.808) dibanding layer lain. Ini menunjukkan bahwa layer awal lebih "fokus" dan selektif — kemungkinan belajar mengekstrak fitur lokal yang tajam, sementara layer tengah dan akhir lebih "spread" untuk integrasi konteks yang lebih luas.

Token Prediction & Generasi

Distribusi prediksi menunjukkan model sudah berfungsi dengan benar:

• "Ibukota Indonesia adalah" → top prediction: sebuah (24.4%), entropy 4.30. Model tahu ini konteks deskripsi, tapi belum tahu bahwa "ibukota" harus diikuti nama kota.
• "Presiden pertama Indonesia adalah" → top prediction: P (7.3%), W (6.8%), entropy 5.48. Model ragu antara nama yang diawali P atau W — distribusi masih cukup flat, belum confident ke "Soekarno".
• "Bahasa resmi Indonesia adalah" → top prediction: b (93.5%) yang berlanjut ke "bahasa" → "tradisional". Model tahu konteksnya bahasa, tapi lanjutnya salah faktual.

Generasi traced menunjukkan banyak token di tengah kalimat punya probabilitas mendekati 1.0 — artinya setelah beberapa token pertama model sangat confident dengan kelanjutannya (misalnya setelah "Kemen" → "ter" → "ian" semua p=1.0). Ini tanda model sudah menguasai morfologi dan struktur kata Bahasa Indonesia dengan baik, tapi factual recall masih terbatas — karena base model ini dilatih untuk memprediksi teks, bukan untuk menjawab pertanyaan faktual.

Kesimpulan Inspection

Model berfungsi normal dan weight ter-load dengan benar (entropy turun dari ~7.1 di awal ke 4.3–5.5 setelah fix). Kelemahan utama ada di dua area: (1) semantic embedding space yang belum ter-cluster dengan baik, dan (2) factual recall yang masih lemah untuk pertanyaan seperti "ibukota X adalah Y". Keduanya adalah karakteristik wajar base model yang belum instruction-tuned — dan keduanya bisa diperbaiki dengan fine-tuning yang tepat.

🧪 Contoh Output

Model ini adalah base model — outputnya adalah kelanjutan teks, bukan jawaban instruksi.

Prompt: "Ibukota Indonesia adalah"

"...bagian dari Kementerian Kelautan dan Perikanan Republik Indonesia..."

Prompt: "Presiden pertama Indonesia adalah"

"...Wakil Presiden Indonesia, pada tanggal 8 Desember 1994..."

Prompt: "Bahasa resmi Indonesia adalah"

"...bahasa tradisional yang dituturkan oleh bahasa Indonesia..."

Model sudah menguasai struktur Bahasa Indonesia dengan baik (morfologi, kalimat kompleks, SPOK benar) namun pengetahuan faktual masih terbatas. Fine-tuning instruksi diperlukan untuk task factual QA.

📊 Zona Loss Optimal (96M Parameter)

Loss Fase 1 sebesar 2.126 berada di zona optimal ✅. Loss Fase 2+3 (2.965) mencerminkan kesulitan domain Wikipedia yang lebih tinggi — sekarang masuk zona Acceptable dan terus turun.

🎯 Intended Use & Limitasi

✅ Cocok untuk:

• Fine-tuning untuk downstream task Bahasa Indonesia (klasifikasi, NER, QA, summarization)
• Penelitian NLP bahasa Indonesia
• Basis eksperimen arsitektur LM skala kecil
• Deployment edge device (96M param, ringan)

❌ Tidak cocok untuk:

• Penggunaan langsung sebagai chatbot/asisten (belum instruction-tuned)
• Factual QA tanpa fine-tuning tambahan
• Aplikasi produksi yang memerlukan akurasi faktual tinggi

⚠️ Limitasi yang Diketahui:

• Factual recall masih lemah — model tahu konteks tapi bukan fakta spesifik
• Semantic embedding space belum ter-cluster kuat (tied embedding trade-off)
• Tokenizer Unigram 32K agresif split kata kapital jadi subword
• Max sequence 512 token

📂 Isi Repo

Semua file di repo ini dirilis secara terbuka — bukan hanya weights-nya, tapi juga kode dan artefak training yang memungkinkan siapapun untuk mereproduksi atau melanjutkan eksperimen ini dari nol.

Model & Arsitektur

model.safetensors — Weight model hasil training Fase 3 (checkpoint step 17,500), format SafeTensors. Ini yang di-load saat from_pretrained().

modeling_vegalm.py — Definisi arsitektur VegaLM dalam PyTorch. File ini wajib ada di repo agar AutoModelForCausalLM bisa mengenali arsitektur custom ini via trust_remote_code=True. Berisi implementasi lengkap GQA, hybrid attention, SwiGLU FFN, dan tied embeddings.

config.json — Konfigurasi model: hidden size, jumlah layer, vocab size, parameter distilasi, dll. Juga berisi auto_map yang menghubungkan AutoModelForCausalLM ke VegaLMForCausalLM di modeling_vegalm.py.

Tokenizer

tokenizer.model — File model SentencePiece Unigram 32K yang dilatih langsung dari Lyon28/Corpus-Indonesia. Bukan tokenizer off-the-shelf — dilatih khusus untuk distribusi teks Bahasa Indonesia.

tokenizer.json — Representasi tokenizer dalam format HuggingFace, digunakan oleh AutoTokenizer.

tokenizer.vocab — Daftar lengkap 32,000 token beserta skor unigram-nya. Berguna untuk inspeksi vocab atau analisis coverage.

tokenizer_config.json — Metadata tokenizer: special tokens (<pad>, <unk>, <s>, </s>), model_max_length, dan pointer ke class tokenizer.

Training & Inspection Scripts

train_phase1.py — Script training Fase 1 yang digunakan untuk melatih Vega dari nol. Ini bukan sekadar boilerplate — script ini mendokumentasikan seluruh keputusan arsitektur dan engineering yang dibuat selama proses development, termasuk implementasi DistillationTrainer custom, mekanisme attention pooling per-layer untuk distilasi, dan serangkaian fix engineering yang terdokumentasi ([F1]–[F9], [FIX-A]–[FIX-C]). Script ini bisa dijalankan langsung di Google Colab T4 gratis dan otomatis resume dari checkpoint terakhir di Google Drive.

inspect_vega.py — Script untuk membedah perilaku model secara menyeluruh: analisis cosine similarity embedding antar kata, visualisasi entropy attention per layer, distribusi prediksi next token, dan generation trace step-by-step dengan probabilitas tiap token. Berguna untuk memahami apa yang sudah dan belum dipelajari model sebelum memutuskan strategi fine-tuning.

Artefak Training

trainer_state.json — Log training step-by-step dari HuggingFace Trainer: loss per step, learning rate schedule, dan metadata checkpoint.

training_args.bin — Serialisasi TrainingArguments yang dipakai saat training. Berisi semua hyperparameter: batch size, learning rate, scheduler, precision, dll.

scheduler.pt — State LR scheduler di akhir training.

training_phase1_pretrain.png — Grafik kurva loss Fase 1 (Lyon28 corpus, ~5086 steps).

training_phase2_wiki.png — Grafik kurva loss Fase 2 (Wikipedia Indonesia, 12,182 steps lintas 4 sesi Colab).

mascot.png — Maskot Vega. 🌟

🗺️ Roadmap

• Vega-100M-Indo-Instruct — Instruction tuning dengan dataset Alpaca/ShareGPT Bahasa Indonesia
• Evaluasi formal (validation perplexity, downstream benchmarks)
• Extended pretraining dengan lebih banyak data

💻 Infrastruktur Training

🙏 Acknowledgements

• Qwen Team — untuk Qwen3-0.6B yang digunakan sebagai teacher model (training accelerator)
• Lyon28 — untuk Corpus-Indonesia dataset
• Wikimedia — untuk Wikipedia Bahasa Indonesia
• Google Colab — untuk akses GPU gratis yang memungkinkan proyek ini ada