SPLADE-RoBERTa-Amharic-Base

This is a SPLADE Sparse Encoder model finetuned from rasyosef/roberta-base-amharic using the sentence-transformers library. It maps sentences & paragraphs to a 32000-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: SPLADE Sparse Encoder
• Base model: rasyosef/roberta-base-amharic
• Maximum Sequence Length: 510 tokens
• Output Dimensionality: 32000 dimensions
• Similarity Function: Dot Product

• Language: am
• License: mit

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): MLMTransformer({'max_seq_length': 510, 'do_lower_case': False, 'architecture': 'XLMRobertaForMaskedLM'})
  (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 32000})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("yosefw/SPLADE-RoBERTa-Amharic-Base-V4")
# Run inference
sentences = [
    'ፕሪሚየር ሊግ ፡ ሲዳማ ከሜዳው ውጪ ጣፋጭ ድል ሲያስመዘግብ አርባምንጭ ከ ዳሽን ቢራ አቻ ተለያይተዋል',
    '\xa0የኢትዮጵያ ፕሪሚየር ሊግ 10ኛ ሳምንት ሁለት ጨዋታዎች አርባምንጭ እና አዲስ አበባ ላይ ተካሂደዋል፡፡ ሲዳማ ቡና ድል ሲቀናው ዳሽን ከአርባምንጭ አንድ ነጥብ ይዞ ተመልሷል፡፡አርባምንጭ ላይ ዳሽን ቢራን ያስተናገደው አርባምንጭ ከተማ ካለግብ አቻ ተለያይቷል፡፡ ተመጣጣኝ የጨዋታ እንቅስቃሴ የታየበት ይህ ጨዋታ ጥቂት የግብ ሙከራዎች ያስተናገደ ሲሆን ዳሽን ቢራ ኳስ በአርባምንጭ የግብ ክልል በእጅ ተነክቶ የፍፁም ቅጣት ምት ተከልክለናል በሚል ተቃውሞ አቅርበዋል፡፡ የአቻ ውጤቱ ዳሽንን ባለበት 10ኛ ደረጃ ላይ እንዲቆይ ሲያደርገው አርባምንጭ ከተማ አንድ ደረጃን አሻሽሎ 11ኛ ደረጃ ላይ መቀመጥ ችሏል፡፡በ11፡30 ኢትዮጵያ ቡና አዲስ አበባ ስታድየም ላይ ሲዳማ ቡናን አስተናግዶ 2-1 ተሸንፏል፡፡ ሲዳማ ቡና በአዲስ ግደይ የ38ኛ ደቂቃ ግብ መሪ ሲሆን ከእረፍት መልስ በ47ኛው ደቂቃ አማኑኤል ዮሃንስ ቡናን አቻ አድርጓል፡፡ የሲዳማን የማሸነፍያ ግብ ከመረብ ያሳረፈው አማካዩ ፍፁም ተፈሪ በ62ኛው ደቂቃ ነው፡፡ በጨዋታው ፈጣኑ የመስመር አጥቂ አዲስ ግደይ (ፎቶ) ለሲዳማ ቡና ድል ቁልፍ ሚና ተጫውቷል፡፡ በጨዋታው መገባደጃ አካባቢ ላይ ተቀይሮ ሲወጣም በጥላ ፎቅ እና ትሪቡን አካባቢ የሚገኙ የኢትዮጵያ ቡና ደጋፊዎች በአድናቆት አጨብጭበውለታል፡፡የሲዳማ ቡናው የመስመር አማካይ ወሰኑ ማዜ በከባድ ጉዳት ከሜዳ ተቀይሮ የወጣ ሲሆን የጉዳት መጠኑ ከቀጣይ ጨዋታዎች ሊያርቀው እንደሚችል ተነግሯል፡፡ድሉ ሲዳማ ቡና 17 ነጥብ ሰብስቦ 4ኛ ደረጃ ላይ ሲያስቀምጠው 9ኛ ደረጃ ላይ የሚገኘው ኢትዮጵያ ቡና ደረጃውን የሚያሻሽልበትን እድል አበላሽቷል፡፡የኢትዮጵያ ፕሪሚር ሊግ 10ኛ ሳምንት ቀሪ ጨዋታዎች ቅዳሜ እና እሁድ ሲቀጥሉ ሁለተኛ ደረጃ ላይ የሚገኘው አዳማ ከተማ ቅዳሜ በ9፡00 ሀድያ ሆሳዕናን ያስተናግዳል፡፡ እሁድ መሪው ቅዱስ ጊዮርጊስ ከንግድ ባንክ 11፡30 ላይ ሲጫወት በ9፡00 መከላከያ ወላይታ ድቻን ያስተናግዳል፡፡የደረጃ ሰንጠረዥ ፡-የከፍተኛ ግብ አግቢዎች ደረጃ፡-\xa0',
    '\xa0በመልካ ቆሌ ስታድየም 9፡00 ላይ በተካሄደው 18ኛው ሳምንት የኢትዮጵያ ፕሪሚየር ሊግ ጨዋታ በወራጅ ቀጠናው ውስጥ ያሉት ወልድያዎች ሌላው በቀጠናው ውስጥ ያለው ሀዋሳ ከነማን በማሸነፍ ነጥቡን ወደ 9 ከፍ አድርጓል፡፡በውጤት መጥፋት ምክንያት የተመልካች ቁጥር ቀንሶ በታየበት ጨዋታ ወልድያዎች የመጀመርያ የግብ ማግባት አጋጣሚ በ8ኛው ደቂ ቢያገኙም ሳይጠቀሙበት ቀርተዋል፡፡ በመጀመርያው አጋማሽ ሀዋሳ ከነማዎች የኳስ ቁጥጥር ብልጫን የያዙ ሲሆን ወልድያዎች በመልሶ ማጥቃት እና ከቆሙ ኳሶች አደጋ ለመፍጠር ሞክረዋል፡፡በ25ኛው ደቂቃ ወልድያዎች ያገኙትን ቅጣት ምት ሳሙኤል ደግፌ ወደ መሃል አሻምቶ የሀዋሳ ተከላካዮች ከግብ ክልላቸው በሚገባ ማራቅ ባለመቻላቸው ፍሬው ብርሃን ኳሷን አግኝቷት ወደ ግብነት ቀይሯታል፡፡ ወልድያ በ33ኛው ደቂቃ በአብይ በየነ አማካኝነት በድጋሚ ግብ ቢያስቆጠርም ረዳት ዳኛው ከጨዋታ ውጪ ምልክት በማሳየታቸው ሳይፀድቅ ቀርቷል፡፡ከግቧ መቆጠር በኋላ ሀዋሳ ከነማ ጫና ፈጥሮ ለመንቀሳቀስ የሞከረ ሲሆን በ40ኛው ደቂቃ ላይ ጥረታቸው ፍሬ አፍርቶ የአቻነት ግብ ማስቆጠር ችለዋል፡፡ የመጀመርያው አጋማሽ የጨዋታ ክፍለጊዜም 1-1 በሆነ አቻ ውጤት ተጠናቋል፡፡ከእረፍት መልስ ሀዋሳዎች ተጨማሪ ግብ ለማስቆጠር ጫናቸውን አጠናክረው ተጫውተዋል፡፡ በ50ኛው ደቂቃ ሲሳይ ባንጫ የፈጠረውን ስህተት ተጠቅመው ሀዋሳዎች ለግብ የቀረበ አጋጣሚ ቢያገኙም በቶክ ጀምስ ጥረት ግብ ሳይሆን ቀርቷል፡፡ወልድያዎች በሁለተኛው አጋማሽም እንደመጀመርያው ሁሉ አፈግፍገው በመጫወት በመልሶ ማጥቃት ወደ ግብ ለመድረስ የሞከሩ ሲሆን አብይ በየነ በዚህ ሂደት የተገኘቸውን ኳስ ወደ ግብ ሞክሮ በግቡ ቋሚ ለጥቂት ወጥታበታለች፡፡በ80ኛው ደቂቃ በ2ኛው አጋማሽ ተቀይሮ ወደ ሜዳ የገባው አጥቂው ፍፁም ደስይበለው ሳሙኤል ደግፌ ከማእዘን ምት ሸገረውን ኳስ በግንባሩ በመግጨት ግብ አስቆጥሯል፡፡ጨዋታው በወልድያ መሪነት ቀጥሎ በዳኛ ውሳኔ ቅሬታ ውስት የገቡ የወልድያ ደጋፊዎች መጠነኛ ረብሻ ቢያስነሱም በፀጥታ ኃይሎች እና በወልድያ ተጫዋቾች ትብብር በቶሎ ረግቧል፡፡ ጨዋታውም በወልድያ 2-1 አሸናፊነት ተጠናቋል፡፡በጨዋታው የእለቱ አልቢትር ለሁለቱም ቡድኖች አንድ አንድ ቢጫ ካርድ አሳይተዋል፡፡',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 32000]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[34.8731, 32.6441,  7.7225],
#         [32.6441, 66.2445, 13.2021],
#         [ 7.7225, 13.2020, 65.6052]])

Evaluation

Metrics

Sparse Information Retrieval

• Evaluated with SparseInformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 245,876 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 3 tokensmean: 16.29 tokensmax: 101 tokens	min: 30 tokensmean: 324.02 tokensmax: 510 tokens	min: 40 tokensmean: 330.65 tokensmax: 510 tokens

• Samples:

  anchor	positive	negative
  ክልሎች ለስኳር ፋብሪካዎች የይዞታ ማረጋገጫ ሰነድ ለመስጠት ፈቃደኛ አለመሆናቸው ታወቀ	የክልሎቹ አቋም ስኳር ፋብሪካዎቹን ለመሸጥ የተያዘውን ዕቅድ እንዳይስተጓጎል ሥጋት ፈጥሯልጠቅላይ ሚኒስትሩ መፍትሔ እንዲያሰጡ ተጠይቋልበፌዴራል መንግሥት ለተቋቋሙ ነባርና በግንባታ ላይ ለሚገኙ አዳዲስ የስኳር ፋብሪካዎች የይዞታ ማረጋገጫ ሰነድ እንዲሰጡ ተደጋጋሚ ጥያቄ ለሚመለከታቸው ክልሎች ቢቀርብም፣ ክልሎች ፈቃደኛ አለመሆናቸውን ሪፖርተር ያገኘው መረጃ አመለከተ፡፡የተገኘው የሰነድ መረጃ እንደሚያመለክተው የፌዴራል መንግሥት ከበርካታ ዓመታት በፊት ላቋቋማቸው ነባር የስኳር ፋብሪካዎችም ሆነ፣ በአሁኑ ወቅት በግንባታ ላይ ለሚገኙት የስኳር ፋብሪካዎች የይዞታ ማረጋገጫ ማግኘት ባለመቻሉ መንግሥት ፋብሪካዎቹን ወደ ግል ለማዘዋወር እያደረገ ያለውን ጥረት እንዳያስተጓጉል ሥጋት ፈጥሯል፡፡መንግሥት በያዘው ዕቅድ መሠረት ከዘንድሮ ጀምሮ ሁሉንም የስኳር ፋብሪካዎች ወደ ግል ለማዘዋወር፣ የፋብሪካዎቹን ሀብት በተናጠል እንዲገመት ከማድረግ አንስቶ በርካታ የቅድመ ፕራይቬታይዜሽን ተግባራትን እያከናወነ ቢሆንም፣ ፕራይቬታይዜሽኑን ዕውን ለማድረግ መሠረታዊ የሆነውን የይዞታ ማረጋገጫ ማሟላት እንዳልተቻለ ሰነዱ ያመለክታል፡፡በኢትዮጵያ ስኳር ኮርፖሬሽን ሥር የሚተዳደሩ ነባርና በግንባታ ሒደት ላይ የሚገኙ በጥቅሉ 13 ስኳር ፋብሪካዎች ቢኖሩም፣ ከእነዚህ መካከል የተሟላ የይዞታ ማረጋገጫ ሰነድ ያላቸው ሁለት ስኳር ፋብሪካዎች ብቻ እንደሆኑ ለማወቅ ተችሏል፡፡‹‹ነባርና አዳዲስ ፕሮጀክቶች ላይ የይዞታ ማረጋገጫ ሰነድ ለማግኘት ከጅምሩ አንስቶ በድርጅቶቹና በኮርፖሬሽን አማካይነት ያላሰለሰ ጥረት ቢደረግም፣ ከወንጂ ሸዋና ከፊንጫ ስኳር ፋብሪካዎች በስተቀር ነባሩን የመተሐራ ስኳር ፋብሪካ ጨምሮ ሌሎቹ ነባርና በግንባታ ላይ የሚገኙ የስኳር ልማት ፕሮጀክቶች የይዞታ ማረጋገጫ ሰነድ ማግኘት አልተቻለም፤...	በባህል ቱሪዝምና ስፖርት ሚኒስቴር እና ስፖርት ኮሚሽን መካከል በተጠሪነት ላይ የግልጽነት መጓደል መኖሩ የባሀልና ስፖርት ሚኒስቴር የስፖርት ልማት ዘርፍ ዴኤታ አቶ ሃብታሙ ሲሳይ ገለጹ። አቶ ሃብታሙ ለአዲስ ዘመን ጋዜጣ እንደተናገሩት ፤የፌዴራል አስፈጻሚ አካላት ስልጣንና ተግባርን ለመወሰን የወጣ አዋጅ በአግባቡ አውቆ ከመጠቀም አኳያ ውስንነት አለ። ስፖርት ኮሚሽን ለበርካታ ዓመታት ሚኒስቴር ነበር። የአብዛኛው አመራርና ሰራተኛ እሳቤ የሚኒስቴር እሳቤን የያዘ እንደመሆኑ ‹ እኛ ኮሚሽን ነን›የሚለውን በፍጥነት ለመቀበል ግርታን መፈጠሩም የሚጠበቅ መሆኑን ገልጸው፤ እንዲህ አይነቱ ጉድለት ደግሞ ‹ስልጣናችን እየተጋፋን ነው ›የሚሉ አዋጁን ካለመገንዘብ የመነጩ ቅሬታዎች አሉ ብለዋል። የስፖርቱ አደረጃጀት አንድ ጊዜ ከአንዱ ፤ሌላ ጊዜ ደግሞ ከሌላው የመጣበቅ ዝንባሌዎች በተደጋጋሚ መኖሩን ጠቅሰው ፤አደረጃጀቱ ወጥ ሆኖ ያለመቆየትም ከዚሁ ጋር አብሮ የሚታይ እንደሆነ ተናግረዋል። በዚህም ጠንካራ የስፖርት ምክር ቤት አለመፈጠሩ ስፖርቱ ህዝባዊ መሰረት እንዳይኖረው ማድረጉንም አክለው ገልጸዋል። እንደ አቶ ሃብታሙ ማብራሪያ ፤ ስፖርቱን የሚመራው ህዝባዊ አደረጃጀቱ እንደሆነ በፖሊሲው ተቀምጧል። ህዝባዊ አደረጃጀት የሚባለው፤ ኦሎምፒክ ኮሚቴ፤ ፌዴሬሽኖቹ፤ ክለቦቹ፤ እንዲሁም የስፖርት ምክር ቤቶች ናቸው። በሀገራችን ወቅታዊ ሁኔታ የስፖርት ምክር ቤቶች የት ናቸው? ስፖርቱን በአግባቡ መምራት በሚችሉበት ቁመና አይገኙም። በፌዴራል ደረጃ የስፖርት ምክር ቤት ተቋቁሞ ወደ ስራ የገባው በ60ዎቹ አካባቢ ቢሆንም፤ በፌዴራል ደረጃ ከ2007 ዓ.ም ጀምሮ ጠፍተዋል። ብሄራዊ የስፖርት ምክር ቤት በ2011 ዓ.ም ነው ገና እንዳዲስ የተቋቋመው፤ በክልሎችም ተመሳሳይ ሁኔታ ይንጸባረቃል። «በዓመ...
  መዳ ወላቡ ዩኒቨርሲቲ ያሰለጠናቸው 19 ሐኪሞች አስመረቀ	አዲስ አበባ ፣ ህዳር 12 ፣ 2013 (ኤፍ ቢ ሲ) መዳ ወላቡ ዩኒቨርሲቲ በህክምና ዶክትሬት የትምህርት ዘርፍ ያሰለጠናቸው 19 ተማሪዎችን ዛሬ አስመረቀ፡፡ዩኒቨርሲቲው የዛሬ ተመራቂዎችን ጨምሮ 99 የህክምና ዶክተሮችን አሰልጥኖ አስመርቋል።በዩኒቨርሲቲው ምክትል ፕሬዝዳንት ማዕረግ የጎባ ሪፈራል ሆስፒታል ዋና ዳይሬክተር ዶክተር ጄይላን ቃሲም ሆስፒታሉ ለአካባቢው ማህበረሰብ ከሚሰጠው የህክምና አገልግሎት በተጓዳኝ በተለያዩ የህክምና ሙያዎች ስልጠና እየሰጠ እንዳለ መግለጻቸውን ኢዜአ ዘግቧል።በ1999 ዓ.ም 742 ተማሪዎች ተቀብሎ ስራ የጀመረው መዳ ወላቡ ዩኒቨርሲቲ አሁን ላይ ከ24 ሺህ የሚበልጡ ተማሪዎች አሉት።	የአዲስ አበባ ከተማ አስተዳደር የሙያ ትምህርትና ስልጠና ቢሮ በ2009 ዓም በተለያዩ ሙያ ዘርፎች ያሰለጠናቸውን ከ8ሺህ 800 በላይ ሰልጣኞች ዛሬ በሚሊንየም አዳራሽ አስመረቀ ፡፡በምረቃ ስነ ስርዓቱ ላይ የተገኙት የአዲስ አበባ ከተማ አስተዳደር አፈ ጉባኤ ዶክተር ታቦር ገብረመድህን እንደገለጹት ፤ተመራቂዎች በስልጠና ቆይታቸው ያገኙዋቸውን መሰረታዊ ዕውቀትና ክህሎት በየጊዜው በማዳበር ለአገራቸው የሚገባቸውን አስተዋጽኦ ማበርከት ይገባቸዋል ፡፡በስራው ዓለም የይቻላል መንፈስን በማጎልበትና የቴክኖሎጂ ፈጠራ ክህሎትን በማዳበር ቀጣይ ለአገሪቱ ኢኮኖሚ ዕድገት የድርሻቸውን ሊወጠ ይገባል ፡፡በከተማ የወጣቶች ተጠቃሚነትን ለማጎልበት መንገስት በፈቀደው የተንቀሳቃሽ ፈንድ ምቹ አጋጣሚ ሰልጣኞቹ እንዲጠቀሙበትም ጥሪ አቅርበዋል ፡፡የከተማው አስተዳደር የቴክኒክና ሙያ ስልጠና ኃላፊ አቶ ዘርኡ ስሙር በበኩላቸው እንደገለጹት ፤ከደረጃ አንድ እስከ ደረጃ አምስት ከሰለጠኑት 8ሺ 837 ተመራቂዎች ውስጥ 34 በመቶ ሴቶች መሆናቸውን ገልጸዋል ፡፡ቢሮው ባለፉት ሁለት ዓመታም 47 ሺህ የሚሆኑት አጫጭር ስልጠናዎች ማግኘታቸውን ጠቁመዋል ፡፡በአዲስ አበባ ከተማ የሚገኙ የቴክና ሙያ ማሰልጠኛ ተቋማትና ኮሌጆች ዜጎች በተለያዩ የሙያ ዘርፎች ተገቢ የሙያ ክህሎት እንዲያገኙ ተገቢውን አስተዋጽኦ እያበረከቱ መሆናቸውን አስረድተዋል፡፡የቴክኒክና ሙያ ተቋማትም የተሻለ የሙያ ክህሎት ያላቸው ሰልጣኞችን በማፍራት ረገድ ያደረጉት ርብርቦሽም አመስግነዋል ፡፡ሰልጣኞቹ በአነስተኛና ጥቃቅን በመደራጀትና በመስራት የተጣለባቸውን ሀገራዊ ሃላፊነት እንዲወጡ ጥሪ አቅርበዋል ፡፡በመጨረሻም በተለያዩ ዘርፎች የክህሎት ውድድርና የላቀ አፈጻጸም ያስመዘገቡ ሰልጣኞች እንዲሁም አሰልጣኞች የሜዳሊያና የሰርተፊኬት ሽልማትና ዕ...
  በኢትዮጵያ ከባህር ጠለል 2500 ሜትር ከፍታ የምትገኝ እንዲሁም በሀገሪቱ ትልቋ ከተማ ማን ትባላለች?	አዲስ አበባ አዲስ አበባ ተብላ የተሠየመችው እቴጌ ጣይቱ ኅዳር ፲፬ ቀን ፲፰፻፸፱ (1879) ዓ.ም. ፍልውሃ ፊን-ፊን ወደሚልበት መስክ ወርደው ሳሉ ከዚህ በፊት አይተዋት የማያውቋት አንዲት ልዩ አበባ አይተ ስለማረከቻቸው ቦታውን ‹‹አዲስ አበባ!›› አሉ ይባላል። አዲስ አበባ (ኣዲስ ኣበባ) ኢትዮጵያ ዋና ከተማ ስትሆን በተጨማሪ የአፍሪካ ሕብረት መቀመጫ እንዲሁም የብዙ የተባበሩት መንግሥታት ድርጅት ቅርንጫፎችና ሌሎችም የዓለም የዲፕሎማቲክ (የሰላማዊ ግንኙነት) ልዑካን መሰብሰቢያ ከተማ ናት። ራስ-ገዝ አስተዳደር ስላላት የከተማና የክልል ማዕረግ ይዛ ትገኛለች። አብዛኞቹን የሀገሩ ቋንቋዎች የሚናገሩ ክርስቲያኖች እና ሙስሊሞች የሚኖሩባት ከተማ ናት። ከባሕር ጠለል በ2500 ሜትር ከፍታ ላይ የምትገኘው ከተማ በግምት 2,757,729 በላይ ሕዝብ የሚኖርባት በመሆኗ የሀገሪቱ አንደኛ ትልቅ ከተማ ናት። ከተማዋ እቴጌ ጣይቱ በመረጡት ቦታ ማለትም በፍል ውሐ አካባቢ ላይ በባላቸው በዳግማዊ ምኒልክ በ፲፰፻፸፰ (1878) ዓ.ም. ተቆረቆረች። የሕዝቧ ብዛት በያመቱ 8% (ስምንት በመቶ) እየጨመረ አሁን አምስት ሚሊዮን እንደሚደርስ ይገመታል። ከእንጦጦ ጋራ ግርጌ ያለችው መዲና የአዲስ አበባ ዩኒቨርሲቲ መገኛ ሆናለች። ይህም በመስራቹ የቀድሞው ንጉሠ-ነገሥት ስም ቀዳማዊ ኃይለ ሥላሴ ዩኒቨርሲቲ ይባል ነበር።	ታሕታይ ሎጎምቲ / አድዋ ወረዳ ከሚገኙ የገጠር ቀበሌዎችአንዷ ስትሆን ትምህርት ቤት የተጀመረበት አመተምህረት በ 1984 ዓ/ም ነው። አሁን እስከ 8ኛ ክፍል እያስተማረ ይገኛል፡፡ በተጨማሪም ሌላ 1ኛ ደረጃ ት/ቤት ማይሰጋሉ አከባቢ ተገንብቶ ተማሪዎችእየተማሩበት ይገኛሉ፡፡የመኪና መንገድ ደግሞ በ1985/86 አከባቢ ተጀምረዋል። በአከባቢዋ የተለያዮ የተከለሉ ደንኞች ማለትም ሸተቶ ፣ ኩማጫሉቅ፣ ሸቃወለዳይት፣ ደብረሳህሊ፣አቡነእንድርያስ ፣ሰውሒ ፅየት እና ሌሎችም ያቀፈች ቀበሌ ነች፡፡እንስሳተ ዘገዳም ቀበሮ፣ ጅብ፣ በተመሳሳይ ቆቅ እና ጅግራም ይገኙበታል፡፡በተለይ በውስጧ የያዘቻቸው አዝርእትና የበጋአትክልቶችና ለአይን ከመማረክ አልፎ ለአከባቢው ህ/ሰብየገቢ ምንጭ ናቸው "ግድብ ሰይሳ" የ ሰይሳ ግድብምእዛው ይገኛል። በውስጧ 4 ቀጠናዎች(ቁሸት) ይገኛሉ፡፡እነሱም ፅየት ፣ገብላ፣ አዲስአለም፣ ማይወይኒ የሚባሉ ናቸው። ራህያ ከተማም ከፊል ከተማው በዚህ ቀበሌ ይገኛልአድዋ

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score')",
      "document_regularizer_weight": 0.001,
      "query_regularizer_weight": 0.002
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 2
• learning_rate: 6e-05
• num_train_epochs: 6
• lr_scheduler_type: cosine
• warmup_ratio: 0.025
• fp16: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 6e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 6
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.025
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 5.0.0
• Transformers: 4.53.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.8.1
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}