Llama 3.2 180M Amharic

This is a smaller version of the Meta's Llama-3.2-1B decoder transformer model pretrained from scratch for 26 hours using a single A100 40GB GPU 274 million tokens of Amharic text.

• It has 180 Million parameters
• The context size of this model is 1024 tokens.
• It has the same tokenizer as Llama-3.2-1B, trained from scratch using the same Amharic dataset as the model with a vocabulary size of 32k.
• This is a base model and hasn't undergone any supervised finetuing yet. The isntruction following version of this model is Llama-3.2-180M-Amharic-Instruct

How to use

First, you need to install the latest version of transformers

pip install -Uq transformers

You can use this model directly with a pipeline for text generation:

from transformers import pipeline

llama_am = pipeline(
    "text-generation",
    model="rasyosef/Llama-3.2-180M-Amharic",
    device_map="auto"
  )

prompt = "አዲስ አበባ"
llama_am(
    prompt,
    max_new_tokens=128,
    temperature=0.5,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.2
  )

Output:

[{'generated_text': 'አዲስ አበባ ፣ ጥር 22፣ 2012 (ኤፍ ቢ ሲ) በአዲስ አበባ ከተማ አስተዳደር የካ ክፍለ ከተማ እና ወረዳ 10 የመኖሪያ ቤቶች አካባቢ በዛሬው ዕለት የሙቀት መለኪያ መሳሪያ ወድቆ መገኘቱን የአዲስ አበባ ከተማ አስተዳደር የቤቶች ልማት ፕሮጀክት ፅሕፈት ቤት አስታወቀ።የፅህፈት ቤቱ ዋና ስራ አስኪያጅ አቶ ፀጋዬ በቀለ ለኢዜአ እንደገለጹት፥ በክፍለ ከተማው ወረዳ አንድ በተለምዶ ቦሌ ሚካኤል አየር አምባ ተብሎ በሚጠራው አከባቢ ዛሬ ከምሽቱ 1 ሰዓት እስከ ቀኑ ሰባት ሰዓት ድረስ ከፍተኛ ሙቀት ተመዝግቧል።በክፍለ ከተማው ወረዳ ሁለት ውስጥ መኖሪያ ቤታቸውና ቢሮዎቻቸው በፍንዳታ ጉዳት የደረሰባቸው ሲሆን በመኖሪያ ቤታቸውም የኤሌክትሪክ ጄኔሬተር በመፈንዳቱ ህክምና ላይ እንደነበሩ ገልፀዋል።በአሁኑ ወቅት በአካባቢው ምንም አይነት የኤሌክትሪክ ሃይል ባለመገኘቱ ምክንያት ነዋሪዎቹ ለከፍተኛ'}]