Model Card for Llama-3.2-Taiwan-3B

Llama-3.2-Taiwan-3B 是以 meta-llama/Llama-3.2-3B 為基底，針對繁體中文與中華民國台灣語境完成**持續預訓練（continued pretraining, CPT）**之中型基底模型。它是 Llama-3.2-Taiwan-3B-Instruct、Llama-3.2-Taiwan-Legal-3B-Instruct 等下游模型的繁中底座。

⚠️ 規格重點： 本模型為 3B 參數、純文本單模態，僅做 CPT、未做指令微調，需自行 SFT 後才有對話能力。

Model Details

Llama-3.2 3B 是兼顧能力與部署成本的良好基底，但其原生繁中能力對台灣本地語境（用詞、文化、法律、社會制度）覆蓋仍不足。Llama-3.2-Taiwan-3B 將大量繁中與台灣本地語料注入模型，作為下游各類繁中應用（一般對話、法律、教育、金融）的共同底座，使 SFT 階段可以更專注在任務與風格的對齊。

核心特點 (Key Features)

1. 繁中底座：訓練語料涵蓋繁中網頁、教育、生活、政府公開文本等多領域內容。
2. 可衍生家族模型：作為一般指令版（Instruct）、法律專業版（Legal）、量化版（GGUF）的共同基底。
3. 3B 規模：在能力與部署成本之間取得平衡。

Model Description

• Developed by: Liang Hsun Huang
• Funded by: APMIC
• Base model: meta-llama/Llama-3.2-3B
• Model type: LlamaForCausalLM (Transformers)
• Language(s) (NLP): Traditional Chinese, English
• License: llama3.2

Model Sources

• Repository: lianghsun/Llama-3.2-Taiwan-3B

Citation

@misc{llama_3_2_taiwan_3b,
  title        = {Llama-3.2-Taiwan-3B: A Traditional Chinese Continued-Pretrained Llama-3.2 3B Model for Taiwan},
  author       = {Huang, Liang Hsun},
  year         = {2024},
  howpublished = {\url{https://huggingface.co/lianghsun/Llama-3.2-Taiwan-3B}}
}

Acknowledge

• 特此感謝 APMIC 的算力支援。

Model Card Authors

Huang Liang Hsun

Model Card Contact

Huang Liang Hsun