GPT-2 Mongolian Language Model

This is a GPT-2 model fine-tuned for Mongolian text generation. It was trained on the mn-mgltol-data dataset available on Kaggle, specifically using the Cleaned_Description field from cleaned_data.csv.

Model Description

The model is a GPT-2 architecture with the following configuration:

• vocab_size: 32000 (derived from the goryden/gpt2-mn-tokenizer)
• n_positions: 512
• n_ctx: 512
• n_embd: 512
• n_layer: 6
• n_head: 8

It is designed for causal language modeling, meaning it predicts the next token in a sequence.

Usage

You can use this model for various text generation tasks in Mongolian. Here's how to use it with the transformers library:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "goryden/gpt2-mn"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Set pad token for GPT-2
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

prompt = "Монгол хэлний үүсэл хөгжил нь"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        do_sample=True,
        temperature=0.9,
        top_p=0.95
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Output

output = 'Монгол хэлний үүсэл хөгжил нь тэдгээрийн хөгжил нэгтэй элементийг судалдаг шүлгийн судлал эртний ухаан угсаатны шинжлэх ухаан урлагийн өвөрмөц цогц зүй дэлгэрэнгүй хэл шинжлэлийн салбар ухаан угсаатны холбоотой төрөл хэл шинжлэлийн салбар ухаан түүхэн хэл шинжлэл хэл зүйн онцлог хэлбэрийн хэлбэр хэлний хэлбэр хэл шинжлэл үгийн тайлбар толь бичиг хэлний тогтолцоо хэл шинжлэл үгийн язгуур хэлний тогтолцоо нь түүхэн язгуур махбодын хөгжлийн тухай түүхэн хөгжлийгуурын үгийн нэг хэлбэр хэл шинжлэл хэлний зүй болон үндсэн үг үгийн гарал үгийн зүй үгийн хэл зүй үгийн язгуур махбод зүй тогтлыг ийнхүү нэг аргаианы нэг арга ухаан үзэгдэл'

Dataset

The model was trained on the mn-mgltol-data dataset from Kaggle, specifically using the cleaned_data.csv file. The Cleaned_Description column was used as the primary text source.

Tokenizer

The model uses the goryden/gpt2-mn-tokenizer tokenizer, which was specifically designed for Mongolian text.

Train

Training Hyperparameters

The model was trained with the following TrainingArguments:

• output_dir: ./gpt2-mn
• eval_strategy: "steps"
• eval_steps: 2000
• logging_steps: 500
• save_steps: 2000
• save_total_limit: 2
• num_train_epochs: 20
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• gradient_accumulation_steps: 8
• learning_rate: 5e-4
• warmup_steps: 500
• weight_decay: 0.01
• fp16: True
• report_to: "wandb"

Training Metrics