gpt2-medium-amharic-28k-512

This is a smaller version of the gpt2 decoder transformer model pretrained from scratch for 2 days on 290 million tokens of Amharic text.

• It has 40.2 Million parameters
• The context size of this model is 512 tokens.
• It has the same tokenizer as gpt2, trained from scratch using the same Amharic dataset as the model with a vocabulary size of 28k.
• This is a base model and hasn't undergone any supervised finetuing yet.

It achieves the following results on the evaluation set:

• Loss: 4.24
• Perplexity: 69.4

How to use

You can use this model directly with a pipeline for text generation:

from transformers import pipeline

gpt2_am = pipeline(
    "text-generation",
    model="rasyosef/gpt2-medium-amharic-28k-512"
  )

prompt = "በ ኢንግሊዝ ፕሪምየር ሊግ"
gpt2_am(
    prompt,
    max_new_tokens=256,
    temperature=0.4,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.4
  )

Output:

[{'generated_text': 'በ ኢንግሊዝ ፕሪምየር ሊግ የ3ኛ ሳምንት ጨዋታዎች ዛሬ እና ነገ ይካሄዳሉ ።\nየፕሪምየር ሊጉ ከፍተኛ ግብ አስቆጣሪ የሆነው ኤቨርተን ከኒውካስል ዩናይትድ የሚያደርጉትን ጨዋታ በቀጥታ ስርጭት ይመልከቱ።\nከሊቨርፑል ጋር ባደረገው ግጥሚያም አርሰናል በፕሬሚየር ሊጉ ላይ ጎል በማስቆጠር ቀዳሚ ሆኖ አጠናቋል።\nአርሰናል በፕሬሚየር ሊጉ የደረጃ ሰንጠረዡን እየመራ ይገኛል። ሊቨርፑል በፕሬሚየር ሊጉ ሁለተኛ ደረጃ ላይ ከሚገኘው ማንቸስተር ሲቲ ጋር እኩል ነው፤ እንዲሁም ማንቸስተር ሲቲ በፕሬሚየር ሊጉ አራተኛ ደረጃ ላይ የሚገኘው ቸልሲ በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ላይ ይገኛል።\nበእንግሊዝ ፕሬሚየር ሊግ የእግር ኳስ ፍልሚያ ትናንት ማታ ስቶክሆልም ከተማ ውስጥ ዌስትሐምን 3 ለ0 አሸንፏል። ከትናንት በስቲያ ምሽት ኒውካስትል ዩናይትድን 2 ለባዶ ያሸነፈው ማንቸስተር ሲቲ ቅዳሜ ዕለት ዌስትሐም ሆትስፐር ከማንቸስተር ሲቲ ጋር አንድ እኩል ተለያይቷል።\nትናንት ማታ ስቶክሆልን 4 ለ1 በሆነ ሰፊ ውጤት በማሸነፍ በደረጃ ሠንጠረዡ አናት ላይፕትሲሽንን በኹለተኛነት ይከተላል። ማንቸስተር ሲቲ በፕሬሚየር ሊጉ አምስተኛ ደረጃን ይዞ ሲያጠናቅቅ፣ ማንቸስተር ሲቲ በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ይዟል።\nበጀርመን ቡንደስ ሊጋ ባየር ሙይንሽን ሐኖቨርን 5 ለ2 ድል አድርጓል። ቦሩስያ ዶርትሙንድ በፕሬሚየር ሊጉ ሦስተኛ ኾኖ ያጠናቀቀው ሽቱትጋርት በፕሬሚየር ሊጉ ሦስተኛ ደረጃ ላይ ይገኛል'}]