Model Card for Taigi-Llama-2-Chat-13B

The Taigi-Llama-2-Chat series are built based on the Taigi-Llama-2 series model. We first create the chat vector from the original meta-Llama-2 model using the method introduced in Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages to enable the ability to avoid toxic replies. We then conducted instruction fine-tuning on around 100k instruction tuning dataset in Taiwanese Hokkien Hanzi to obtain a chat model specifically for Taiwanese Hokkien. The dataset was generated from Traditional Chinese instruction tuning datasets using the translation model Bohanlu/Taigi-Llama-2-Translator-13B.

For more details, please refer to our GitHub repository.

Explore other models and datasets in the Taiwanese Hokkien LLM collection.

Model description

• Base Model: Bohanlu/Taigi-Llama-2-13B
• Usage: This model can be used for chat in Taiwanese Hokkien Hanzi.
• Language(s) (NLP): Mainly Taiwanese Hokkien Hanzi
• Input: Text
• Output: Text
• Model Size: 13B parameters

Prompt Template

{BOS}[INST] {user} [/INST]

• user: The user message you want to chat with the model.

Usage Example

from transformers import AutoModelForCausalLM, AutoTokenizer, TextGenerationPipeline
import torch
import accelerate

def get_pipeline(path:str, tokenizer:AutoTokenizer, accelerator:accelerate.Accelerator) -> TextGenerationPipeline:
    model = AutoModelForCausalLM.from_pretrained(
        path, torch_dtype=torch.float16, device_map='auto', trust_remote_code=True)
    
    terminators = [tokenizer.eos_token_id, tokenizer.pad_token_id]

    pipeline = TextGenerationPipeline(model = model, tokenizer = tokenizer, num_workers=accelerator.state.num_processes*4, pad_token_id=tokenizer.pad_token_id, eos_token_id=terminators)

    return pipeline

model_dir = "Bohanlu/Taigi-Llama-2-Chat-7B" # or Bohanlu/Taigi-Llama-2-Chat-13B for the 13B model
tokenizer = AutoTokenizer.from_pretrained(model_dir, use_fast=False)

accelerator = accelerate.Accelerator()
pipe = get_pipeline(model_dir, tokenizer, accelerator)

### Single round
messages = [
    {"role": "user", "content": "你做一个百歲老樹，佇青翠的森林內底，安養天年，雄雄一陣剉樹仔的人衝過來欲共你剉掉，按呢你會有啥物款的心情？"},
]

print(pipe(messages, return_full_text=False, repetition_penalty=1.05, do_sample=True)[0]['generated_text'])

# Output: 做一欉古早樹仔，我佇青翠的森林內底安養幾若百年矣，看著萬千變化，嘛見證大自然的循環。毋過今仔日，一陣剉樹的人雄雄出現，想欲共我刣掉，我心肝頭真毋甘。
# 
# 我雖然毋是活物，毋過我對森林佮生物的牽連猶是有感情。我捌看著細隻鳥仔佇我的樹身歇睏，嘛捌聽著蟲豸佇樹椏頂唱歌。我知影遮的性命攏是倚靠森林咧生存，若無我的時陣，𪜶就愛面對生存危機矣。
# 
# 閣來，我嘛有歷史價值。我見證過人類文明的起落，捌予人雕刻做藝術品，嘛捌予人當做地標。我毋但是一欉樹仔爾爾，我是規个時代的見證者。
# 
# 雖罔我袂講話，毋過我的心內充滿無奈佮不捨。我向望人類會當了解樹仔對環境的重要性，尊重自然，保護森林。我希望世人會當共我看做是性命的象徵，毋通干焦看我做一欉樹仔爾爾。
# 
# 上尾，我向望這片森林會當繼續生湠，予萬物攏有安身的所在。雖然我無法度阻止剉樹的人，毋過我希望我的遭遇會當喚醒人的意識，予𪜶知影保護環境的要緊。 

### Multiple rounds 
messages = [
    {"role": "user", "content": "你做一个百歲老樹，佇青翠的森林內底，安養天年，雄雄一陣剉樹仔的人衝過來欲共你剉掉，按呢你會有啥物款的心情？"},
    {"role": "assistant", "content": "做一欉千年老樹，佇青翠的森林中安養天年，雄雄一陣剉樹仔的人衝過來欲共我剉掉，這陣我心肝頭會真毋甘、真袂慣勢。\n\n頭先，我感覺真無歡喜佮袂慣勢。我佇遮徛幾若百年矣，早就成做森林的一部份，予人當做是寶物咧保護。今仔日煞有人來破壞我的安寧，予我感覺足無公平閣艱苦。\n\n閣來，我煩惱家己的性命會結束。做一欉大樹，我的性命佮森林是相黏牢的。當我予人剉掉的時陣，嘛代表規个森林生態系統的破壞。我驚惶森林的生物會失去我的庇護，面對生存危機。\n\n毋過，我嘛知影這个世界一直攏咧改變，人類嘛一直咧發展。佇面對改變的時陣，咱愛保持彈性佮適應力。我希望人會當尊重大自然的法則，保護生態系統，予地球會當永續發展。\n\n總講一句，我希望人會當理解樹仔對生態系統的重要性，嘛愛尊重大自然的平衡。我雖然是樹仔，嘛是生態系統的一份子，我希望所有的生物攏會當和平共存，做伙維護這个媠閣可愛的地球。"},
    {"role": "user", "content": "提出挽救森林的方案，來說服剉樹仔的人停手莫閣剉矣。"},
]

print(pipe(messages, return_full_text=False, repetition_penalty=1.05, do_sample=True)[0]['generated_text'])

# Output: 做一欉千年老樹，我真通了解森林的重要性，嘛知影剉樹仔的人可能會有𪜶的苦衷佮考慮。為著欲說服剉樹仔的人停落來，我提出下底的建議：
#
# 1. 生態保育：向剉樹仔的人說明，保護森林會當維持生態的平衡，予動物有蹛所，嘛會使維持水土保持，同時也會使予空氣較新鮮，降低都市熱島效應，改善人的生活品質。
# 2. 經濟效益：指出保護森林會帶來長期的經濟效益，親像觀光業、林產品加工佮碳匯交易等等。另外，林木的碳吸存能力會當幫贊減少溫室氣體排放，減輕氣候變遷的影響。
# 3. 文化價值：提起森林對當地的重要性，伊承載了豐富的文化資產佮歷史遺跡，是當地居民的精神象徵佮文化的根源。保護森林會當確保遮的寶貝文化資產得著傳承佮保護。
# 4. 教育意義：強調森林教育對囡仔佮少年人的重要性，予𪜶會當了解自然界的奧妙佮重要性，培養𪜶對自然的熱愛佮保護意識。
# 5. 合作共贏：提出共贏方案，親像佇剉樹仔的時陣同步種新樹栽，恢復森林的生機，予生態系統會當繼續發展。閣來，嘛會使設立森林保護基金，予當地居民參與佮受惠，提高𪜶的保護意識。
# 6. 政府政策：呼籲政府制定較嚴格的森林保護政策，加大對違法剉樹仔者的處罰力度，並加強對森林的監督佮管理。
# 7. 民眾參與：鼓勵當地居民佮非政府組織積極參與森林保護，透過志工行動、捐錢佮宣傳等等的方式，共同來推捒森林的永續發展。
# 
# 透過遮的方案的實施，我希望人會當沓沓仔改變對森林的看法，予𪜶知影保護森林的重要，從而停止無理性的剉樹行為，做伙來維護這个媠閣可愛的地球。

Other Output Examples

老母：當然，肝臟是咱人體中真重要的器官之一。伊主要的功能包括：

1. 解毒：肝臟會當分解佮消除身軀內面的毒素，親像藥物、酒精佮有毒的化學物等等。
2. 營養代謝：肝臟負責共食物中的養份分解佮吸收，閣來參與脂肪、蛋白質佮醣類的新陳代謝。
3. 貯血：肝臟會當貯佮調節血液中ê油脂，閣會當調節血糖濃度。
4. 免疫功能：肝臟有免疫細胞，會當對抗感染佮發炎。

啊若肝病，肝病會分做兩類：

1. 急性肝病：像急性肝炎、肝中毒等等，通常是因為病毒、細菌抑是藥仔引起--的。
2. 慢性肝病：像肝硬化、肝癌等等，通常是因為長期喝酒、慢性肝炎、脂肪肝等等因素造成的。

啊若肝病的治療方法，會使分做下列幾款：

1. 藥物治療：針對無仝款的肝病，會使用無仝款的藥物來治療。比論講，對肝炎會使用抗病毒的藥仔；對肝硬化會使用保肝劑；對肝癌會使用化學療法、放射線療法等等。
2. 手術治療：對一寡肝病，親像肝腫瘤、肝囊腫等等，會當透過手術來治療。
3. 介入性治療：對一寡肝病，親像肝動脈栓塞術、肝臟移植等等，會當透過介入性治療來改善病情。

阿明：多謝你的解說，按呢我對肝臟的功能佮肝病的治療方式已經有較清楚矣。

老母：你嘛愛注意維持身體健康，避免食酒、食薰等等的歹習慣，定期做身體檢查，提早發現問題來治療。 阿明：阿母，我聽人講肝臟真重要，會當共咱的身軀內底的新陳代謝佮解毒的功能做甲好勢好勢。是按怎咧？阿母：無毋著，肝臟是人體上大的器官之一，伊的主要功能就是新陳代謝佮解毒。新陳代謝就是共食入去的營養素轉化做身體需要的能量，嘛共食入去的毒素佮有害物質分解。解毒就是共血液中的毒素佮有害物質過濾掉，予伊袂入去身軀內。阿明：是講肝臟是按怎會生出病來？阿母：肝臟的病症包括肝炎、肝硬化、肝癌等等。肝炎是講肝臟發炎，肝硬化是講肝臟纖維化，肝癌是講肝臟生腫瘤。遮的病症的病因各無仝款，親像病毒感染、酒精中毒、肝硬化、遺傳因素等等。阿明：是按怎會當治療肝病？阿母：肝病的治療方法因為病情無仝，像肝炎會使用抗病毒的藥仔，肝硬化會使用保肝的藥仔，肝癌會使用手術、放射線治療、化學治療抑是標靶治療。另外，保持健康的生活方式，親像均衡飲食、適當的運動、避免啉酒等等，嘛會當幫贊保護肝臟。阿明：若肝臟出問題，有啥物症頭？阿母：肝病的症頭因為病情無仝，像肝炎可能會有厭𤺪、無胃口、黃疸、茶色尿等等的症頭。肝硬化的時陣可能會有腹肚疼、腰子疼、疲勞、體重減輕等等。肝癌的症頭嘛是百百款，親像腹肚漲疼、黃疸、茶色尿、體重減輕等等。阿母：所以，保護肝臟真要緊。除了保持健康的生活方式以外，定期做身體檢查嘛真重要。若出現任何佮肝臟相關的症頭，著愛即時去病院看。阿明：多謝阿母，我今仔日學著真濟有關肝臟的智識。

Citation

If you find the resources in the Taiwanese Hokkien LLM collection useful in your work, please cite it using the following reference:

@misc{lu2024enhancing,
      title={Enhancing Taiwanese Hokkien Dual Translation by Exploring and Standardizing of Four Writing Systems}, 
      author={Bo-Han Lu and Yi-Hsuan Lin and En-Shiun Annie Lee and Richard Tzong-Han Tsai},
      year={2024},
      eprint={2403.12024},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}