Model Card for Llama-3.2-Taiwan-1B

Llama-3.2-Taiwan-1B 是以 meta-llama/Llama-3.2-1B 為基底，針對繁體中文與中華民國台灣語境完成**持續預訓練（continued pretraining, CPT）**的小型基底模型，作為 Llama-3.2-Taiwan-1B-Instruct 等下游模型的繁中底座。

⚠️ 規格重點： 本模型為 1B 參數小型語言模型（SLM）、純文本單模態、僅做 CPT、未做指令微調，需自行 SFT 後才有對話能力。

Model Details

Meta 釋出的 Llama-3.2 1B 是端側部署的良好候選，但其原生繁中能力有限、對台灣本地語境覆蓋不足。本模型透過大規模繁中持續預訓練（涵蓋網頁、教育、生活、政府公開文本等多類別語料），把繁中底層能力與台灣語境注入模型參數，作為下游 SFT／DPO 的起點。

核心特點 (Key Features)

1. 小型化、部署成本低：1B 參數，可在消費級 GPU、Apple Silicon、邊緣裝置上順暢執行。
2. 繁中底座：訓練語料以繁體中文與台灣本地語境為主，補強原版 Llama-3.2-1B 在繁中流暢度與在地語境理解上的不足。
3. 下游可微調：作為 instruct、領域應用、persona 微調的起點。

Model Description

• Developed by: Liang Hsun Huang
• Funded by: APMIC
• Base model: meta-llama/Llama-3.2-1B
• Model type: LlamaForCausalLM (Transformers)
• Language(s) (NLP): Traditional Chinese, English
• License: llama3.2

Model Sources

• Repository: lianghsun/Llama-3.2-Taiwan-1B

Citation

@misc{llama_3_2_taiwan_1b,
  title        = {Llama-3.2-Taiwan-1B: A Traditional Chinese Continued-Pretrained Llama-3.2 1B Model for Taiwan},
  author       = {Huang, Liang Hsun},
  year         = {2024},
  howpublished = {\url{https://huggingface.co/lianghsun/Llama-3.2-Taiwan-1B}}
}

Acknowledge

• 特此感謝 APMIC 的算力支援。

Model Card Authors

Huang Liang Hsun

Model Card Contact

Huang Liang Hsun