llama-3.2-amharic-64k-1024
This is a smaller version of the Meta's Llama-3.2-1B decoder transformer model pretrained from scratch for 3 days on 210 million tokens of Amharic text.
- It has 179 Million parameters
- The context size of this model is 1024 tokens.
- It has the same tokenizer as Llama-3.2-1B, trained from scratch using the same Amharic dataset as the model with a vocabulary size of 64k.
- This is a base model and hasn't undergone any supervised finetuing yet.
How to use
First, you need to install the latest version of transformers
pip install -Uq transformers
You can use this model directly with a pipeline for text generation:
from transformers import pipeline
llama_am = pipeline(
"text-generation",
model="rasyosef/llama-3.2-amharic-64k-1024"
)
prompt = "በ ኢንግሊዝ ፕሪምየር ሊግ"
llama_am(
prompt,
max_new_tokens=256,
temperature=0.3,
do_sample=True,
top_k=8,
top_p=0.8,
repetition_penalty=1.25
)
Output:
[{'generated_text': 'በ ኢንግሊዝ ፕሪምየር ሊግ ማንቼስተር ዩናይትድ ከስቶክ ሢቲይ የሚያደርጉትን ጨዋታ በቀጥታ ስርጭት ይመልከቱ ። | አባይ ሚዲያ\nየቮይስ ኦፍ አሜሪካው የስፖርት እና የባህል ፌስቲቫል ሊጀመር ነው።\nየእንግሊዝ ፕሪሚየር ሊግ የሳምንቱ መጨረሻ ጨዋታዎች በሳምንቱ የመጨረሻ ቀናት ተካሂደዋል። ሊጉ ቅዳሜ እለት በተደረጉ ሁለት ግጥሚያዎች ቀጥሎ ሲውል፤ ትናንት ምሽት ደግሞ ማንቸስተር ሲቲ በሊቨርፑል 3 ለ1 ተሸንፏል።\nየሊቨርፑሉ አሰልጣኝ ዬርገን ክሎፕ ቡድናቸውን በአምበልነት እየመራ ወደሜዳ የገቡት ሊቨርፑሎች በፕሬሚየር ሊጉ ጉዟቸው ላይ ወሳኝ ድል ለማስመዝገብ በማለም መሆኑን ተናግረዋል።\n«ዛሬ ማታ ስጫወት አምሽቼ ነበር» ያሉት አሰልጣኙ «አሁን ግን ጠንክሬ እየሰራሁ ነው» ብለዋል።\nበሊጉ የደረጃ ሰንጠረዡን በቀዳሚነት የሚመራው ሊቨርፑል ከተከታዩ ቦሩስያ ዶርትሙንድ ጋር ያለው ልዩነት የ11 ነጥብ ብቻ ሲሆን ፤ መሪው ባየር ሙይንሽን በ7 ይከተላል። ከትናንት በስትያ ኃያሉ ባየርን ሙንሽን በደረጃ ሠንጠረዡ ሦስተኛ ኾኖ በማጠናቀቅ በቡንደስ ሊጋው ለመቆየት የነበረውን ዕድል አምክኗል።\nበእንግሊዝ ፕሬሚየር ሊግ የእግር ኳስ ግጥሚያ ትናንት አርሰናል ኒውካስልን 2 ለባዶ አሸንፏል። ቸልሲ ሳውዝሐምፕተን ውስጥ ትናንት አንድ እኩል አቻ ተለያይቷል። በትናንቱ ሽንፈት አርሰናል ሁለተኛ ደረጃውን አስጠብቋል። ማንቸስተር ዩናይትድም በግብ ክፍያ ተበልጦ አራተኛ ደረጃ ይዟል።\nበስፔን ላሊጋ ትናንት ባርሴሎና ቫሌንሺያን 4 ለዜሮ አንኮታኩቶዋል። ሪያል ማድሪድ ሌቫንቴን 5ለ0 እንዲሁም አትሌቲኮ ቢልባዎ ቤቲስን 6ለ1 አሸንፈዋል። ሊዮኔል ሜሲ በባርሴሎና የግብ ናዳ ወርዶበት ከሜዳ'}]