AgentContentVietnamese 110M
Base language model tiếng Việt, train từ đầu trên corpus báo chí tiếng Việt. Đây là bản final, đã hoàn thành một epoch tại bước 14,411.
| Thuộc tính | Giá trị |
|---|---|
| Tham số | 109,529,856 |
| Kiến trúc | Decoder-only, 12 layers, hidden 768, 12 attention heads, SwiGLU 2048 |
| Normalization / positional encoding | RMSNorm / RoPE |
| Context | 4.096 token |
| Tokenizer | SentencePiece BPE, 32.000 token, byte fallback |
| Token đã train | 1,888,682,419 |
| Epoch | 1 |
| Loss train cuối | 2.4816 |
| Best observed full-validation loss trong run | 2.3403 |
| Weights | FP32, safetensors |
Chỉ số validation trên là giá trị tốt nhất được ghi nhận trong run, không phải
kết quả đo mới trên bản export. Xem training_summary.json để biết cấu hình chi tiết.
Tải và sinh văn bản
Python 3.13, PyTorch 2.7.1; có thể chạy CPU hoặc GPU CUDA tương thích.
python -m pip install huggingface-hub
hf download Huypero/AgentContentVietnamese-110m --local-dir ./AgentContentVietnamese-110m
python -m pip install -r ./AgentContentVietnamese-110m/requirements.txt
python ./AgentContentVietnamese-110m/generate.py --prompt "Hôm nay, Việt Nam" --max-new-tokens 100
GPU tự động dùng BF16 nếu được hỗ trợ. Thêm --device cpu để chạy CPU,
hoặc --temperature 0 để giải mã greedy. Sinh văn bản dùng lại thuật toán
trong dự án gốc, không thêm BOS vào prompt và dừng tại EOS hoặc giới hạn context.
Đây là model PyTorch với kiến trúc riêng. Dùng generate.py đi kèm;
repo chưa có lớp tích hợp transformers.AutoModelForCausalLM.
Nội dung bản export
model.safetensors: toàn bộ model weights lấy từ checkpoint final, giữ nguyên FP32.config.json,tokenizer.model,tokenizer.vocab: cấu hình và tokenizer đúng với checkpoint.generate.py,scripts/: mã nạp model và sinh văn bản.training_summary.json,export-manifest.json: thông tin train, provenance và SHA-256.
Đã kiểm tra từng tensor bằng nhau tuyệt đối với checkpoint và logits bằng nhau khi nạp lại trên CPU. Optimizer, training RNG và corpus không nằm trong repo model; checkpoint train gốc vẫn được giữ trên máy chủ dự án.
Sử dụng và giới hạn
Model base dùng để tiếp tục văn bản và nghiên cứu pretraining; chưa instruction-tune hay đánh giá như một trợ lý chat. Corpus thiên về báo chí. Văn bản sinh có thể sai, lặp, hoặc chứa nội dung không phù hợp. Không suy ra giấy phép mở cho weights hay nội dung nguồn từ việc repo được công khai; bản bàn giao chưa chỉ định giấy phép.
Nguồn dự án: https://github.com/anhnam26/AgentContentVietnamese
Dataset: https://huggingface.co/datasets/anhnam26/AgentContentVietnamese-data