Wongwian Micro Instruct — 272M

The first model in the Wongwian series. A compact 272M-parameter Thai-centric language model trained entirely from scratch on 40B tokens of Thai-dominant data and then instruction-fine-tuned. No base weights from existing open models were used at any stage.

"Cultural & Localization AI for the world" — Wongwian

Wongwian Micro Instruct — 272M (ภาษาไทย)

โมเดลตัวแรกในซีรีส์ Wongwian เป็นโมเดลภาษาขนาดเล็ก 272 ล้านพารามิเตอร์ที่เน้นภาษาไทยเป็นหลัก ฝึกขึ้นมาจากศูนย์ (train from scratch) บนข้อมูล 40 พันล้าน token แล้วผ่านการ instruction fine-tuning โดยไม่ได้นำ open weights ของโมเดลอื่นมาต่อยอดแต่อย่างใด

"Cultural & Localization AI for the world" — Wongwian

ภาพรวมโมเดล

เกี่ยวกับ Wongwian

Wongwian คือโครงการวิจัย AI ภาษาไทยที่มุ่งสร้าง โมเดลภาษา AI ที่มีประสิทธิภาพสูงและเข้าใจบริบทเชิงวัฒนธรรม สำหรับภาษาไทยและภาษาอื่น ๆ ที่ขาดแคลนทรัพยากร โครงการนี้แสดงให้เห็นว่าโมเดล AI ที่มีคุณภาพสูงไม่จำเป็นต้องมีพารามิเตอร์มหาศาล โมเดลขนาดเล็กที่ออกแบบอย่างพิถีพิถันและใช้ข้อมูลที่เหมาะสม สามารถตอบโจทย์การใช้งานจริงได้อย่างมีประสิทธิผล

วิสัยทัศน์: Cultural & Localization AI for the world — สร้าง AI ที่เข้าใจความละเอียดอ่อนทางภาษา วัฒนธรรม และบริบทของแต่ละชุมชนอย่างลึกซึ้ง

จุดแข็งของโมเดลนี้:

• ฝึกจากศูนย์ (from scratch) บนข้อมูลภาษาไทยเป็นหลัก ไม่ได้ต่อยอดจากโมเดลสาธารณะใดทั้งสิ้น
• SentencePiece Unigram tokenizer (32K vocab) ออกแบบมาเฉพาะสำหรับโครงสร้างภาษาไทยและข้อความผสมไทย-อังกฤษ
• สร้างบนเฟรมเวิร์ค OLMo-core แบบ open-source
• ผ่านการ instruction fine-tuning (SFT) ด้วยข้อมูลบทสนทนาภาษาไทย
• รูปแบบ prompt สะท้อนการโต้ตอบผู้ช่วยภาษาไทยอย่างเป็นธรรมชาติ

Model Overview

About Wongwian

Wongwian is a Thai AI research initiative focused on building efficient, culturally-grounded language models for Thai and other under-resourced languages. The project demonstrates that high-quality language AI does not require massive parameter counts — a carefully designed small model, trained on the right data, can serve real-world use cases effectively.

Vision: Cultural & Localization AI for the world — delivering language models that deeply understand the cultural, linguistic, and contextual nuances of each community they serve.

What makes this model different:

• Trained from scratch on Thai-dominant data — not a fine-tune of any existing public model
• Custom SentencePiece Unigram tokenizer (32K vocab) designed for Thai morphology and mixed Thai-English text
• Built on the open OLMo-core training framework
• Full instruction fine-tuning (SFT) with Thai conversation data
• Chat prompt format mirrors natural Thai assistant interaction

Quick Start

pip install

pip install transformers sentencepiece

Chat generation (recommended)

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "wongwian-org/wongwian-micro-instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
model.eval()

messages = [
    {"role": "user", "content": "สวัสดี อธิบาย AI ให้ฟังหน่อย"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt",
)
with torch.no_grad():
    output = model.generate(
        input_ids.to(model.device),
        max_new_tokens=200,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.3,
        no_repeat_ngram_size=4,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id,
    )
new_tokens = output[0, input_ids.shape[1]:]
print(tokenizer.decode(new_tokens, skip_special_tokens=True))

Multi-turn conversation

history = []

def chat(user_message: str, system_prompt: str | None = None) -> str:
    messages = []
    if system_prompt:
        messages.append({"role": "system", "content": system_prompt})
    messages.extend(history)
    messages.append({"role": "user", "content": user_message})

    input_ids = tokenizer.apply_chat_template(
        messages,
        tokenize=True,
        add_generation_prompt=True,
        return_tensors="pt",
    )
    with torch.no_grad():
        output = model.generate(
            input_ids.to(model.device),
            max_new_tokens=200,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            repetition_penalty=1.3,
            no_repeat_ngram_size=4,
            eos_token_id=tokenizer.eos_token_id,
            pad_token_id=tokenizer.pad_token_id,
        )
    reply = tokenizer.decode(output[0, input_ids.shape[1]:], skip_special_tokens=True).strip()
    history.append({"role": "user", "content": user_message})
    history.append({"role": "assistant", "content": reply})
    return reply

print(chat("สวัสดี คุณคือใคร?"))
print(chat("แล้วคุณทำอะไรได้บ้าง?"))

Chat template format

The model uses the following plain-text prompt format (applied automatically by apply_chat_template):

<s>system: <system_prompt>
ผู้ใช้: <user_turn>
ผู้ช่วย: <assistant_turn></s>
ผู้ใช้: <user_turn>
ผู้ช่วย:

Prompt Engineering Tips

Limitations

• Size: At 272M parameters, this model is suited for assistive tasks and demonstrations, not advanced reasoning or complex long-form analysis.
• Hallucination: Like all language models, the model may produce inaccurate information. Always verify critical outputs.
• Context length: Maximum 2 048 tokens per call; performance may degrade near the limit.
• Bias: The model may reflect biases present in the training corpus.

Citation

@misc{wongwian2026micro,
  title  = {Wongwian Micro Instruct: A Thai-Centric Small Language Model Trained from Scratch},
  author = {Wongwian AI Research},
  year   = {2026},
  url    = {https://huggingface.co/wongwian-org/wongwian-micro-instruct}
}