SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer

• Maximum Sequence Length: 400 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 400, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("meet5568/bhash_finetune_phaseB_v2")
# Run inference
sentences = [
    'Mujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nYe aashiqui tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nYe shayari tujhse shuru tujhpe khatam\nTere liye hi saansein mili hai\nTere liye hi mila hai janam\nYe zindagi tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nTum mere haathon mein prem lakeer jaisi ho\nMain deewana Ranjha, tum Heer jaisi ho\nTum aaisi baaton se bekarar karte ho\nMere sabr ka aanchal taar-taar karte ho\nJaao na is tarah baahon se chhut ke\nChahungi main tumhe ab sanam toot ke\nTeri wafaa ke badle mile toh\nManzoor hai har sitam\nYe mausiki tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nHar pal tanhai mein tumhe yaad karta tha\nApni suni duniya main aabaad karta tha\nMain bhi toh hontho se paigam likhti thi\nKore se kagaz pe tera naam likhti thi\nDard ke woh sabhi sakht mausam gaye\nHum mile toh laga pal yahin tham gaye\nAb na juda ho sapne hamare\nJab tak rahe dum mein dum\nYe bekhudi tujhse shuru tujhpe khatam\nYe aashiqui tujhse shuru tujhpe khatam\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do\nMujhe pyar do, mujhe pyar do\nDil bekarar hai pyar do\nBarso kiya hai maine intezar\nMujhe pyar do, mujhe pyar do',
    'क्यू रातो को मैं अब चैन से सो ना सकू\nहो ओ ओ ओ\nक्यू आता नहीं मुझे दिन में भी चैन ओ सुकू\nहो ओ ओ ओ\nक्यू ऐसा होता हैं मैं खुद से ही बाते करूं\nओ ओ ओ\nक्यू तू जो बोले कोई सुने ना वो मैं ही सुनु\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता तू बता\nतेरा इंतजार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतू बता आ आ आ तू बता आ आ आ\nक्यू तुझे देखे बिना आता नहीं दिल को सबर हो ओ ओ ओ\nक्यू तेरे चेहरे से हटती नहीं ये नजर हो ओ ओ ओ\nक्यू तुझे पाके मुझे रहता है खोने का डर ओ ओ ओ\nक्यू तेरे सिवा सारी दुनिया से हु मैं बेखबर\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतेरा इंतजार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतू बता आ आ आ तू बता आ आ आ\nये प्यार है जो तुझे हो गया है\nना जाने क्यू तू इसे था बेखबर\nजो आज कल ये तुझे हो रहा है\nनहीं और कुछ प्यार का है असर\nक्यू तेरे जलवो का छटता नहीं है धुंआ हो ओ ओ ओ\nक्यू चले हवा तो लगे की जैसे तूने छुआ हो ओ ओ ओ\nक्यू मांगता है दिल तेरे लिए रोज़ दुआ हो ओ ओ ओ\nक्यू हो रहा जो वो पहले मुझे ना हुआ\nदिल ये बेक़रार क्यू है इसपे धुन सवार क्यू है\nक्यू है ये खुमार क्यू है तू बता\nतेरा इंतज़ार क्यू है तुझपे एतबार क्यू है\nक्यू है ये खुमार क्यू है तू बता तू बता\nतू बता आ आ आ तू बता आ आ आ',
    'खटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा.\nबर्बाद दिन ने जो फेंकी यहाँ\nहमने वो कतरन उठाई है\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nकतरन का पोला सा तकिया बना\nउसपे ही नींदें चढ़ाई है\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nजिनते शटर हमपे गिरते गए\nउतने चतुर हम भी बनते गए\nहोक तू बांका, छोटा सा टांका\nदुनिया के मुंह पे लगा.\nहाँ किलो के भाव हमने हौसला है पाया\nरात लम्बी नापने को इंच-टेप लाया\nगह्लास हुई तंग तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nबातों को कड़वी ना दिल पे लिया\nधक्का मिला तो नमस्ते दिया\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nरेशम की या साड़ी सूती की हो\nसबको तसल्ली से पिको किया\nखटर पटर, खटर पटर\nखटर पटर, खटर पटर\nसपने जो रखे हैं संभाल के\nगीले ना हो जाएँ तिरपाल में\nदुनिया के नाटक को\nआँखों के फाटक से\nचलता तू कर दे ज़रा\nआत्मा को एक एक पुर्जे में मिलाया\nदेख लो मशीन को भी आदमी बनाया\nजेबें जो उधड़ी हैं तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nखटर पटर ज़िन्दगी ने राग है सुनाया\nबटन खुले काज से तो बक्सवा लगाया\nकिस्मत फटी चादर तो हम बने\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा\nसुई धागा, सुई धागा\nसुई सीधी खड़ी, नाचे धागा',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,200 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 5 tokensmean: 308.96 tokensmax: 400 tokens	min: 25 tokensmean: 309.99 tokensmax: 400 tokens	min: 30 tokensmean: 304.98 tokensmax: 400 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Khwaab sangemarmariKhwaab yeh hare bhareKhwaab sangemarmariKhwaab yeh hare bhareZara jo neend khul gayiKhwaab kaanch ke arrey arreyIdhar gire udhar gireArrey o re re re re re arre. o reIdhar gire udhar gireArrey o re re re re re arre. o reTashtari sambhaal ke.Jaam hai naya.Haath se gira diya.Kaam se gaya.Khwaab yeh falak talakJaayenge chhlak chhlakKhwaab yeh falak talakJaayenge chhlak chhlakJo muh ko lag gayiKhwaab chaat-te arrey arre.Idhar gire udhar gireArrey o re re re re re arre. o reIdhar gire udhar gireArrey o re re re re re arre. o reChaahatein yahaan bantiTaash ki tarah.Haath jo jeet liAish hai yahaan.Khwaab yeh sharaaratiHain tere banawatiKhwaab yeh sharaaratiHain banawatiZara jo dhool lag gayiKhwaab chaat-te arrey arre.Idhar gire udhar gireArrey o re re re re re arre. o reIdhar gire udhar gireArrey o re re re re re arre. o reKhwaab sangemarmariKhwaab yeh hare bhareKhwaab sangemarmariKhwaab yeh hare bhareHun. hmm. la la.	सेठजी, तुमने किया कमाल, सेठजीओ, सेठजी, तुमने किया कमाल, सेठजी"खुंदी की मुद्दत पक गई""खुंदी की मुद्दत पक गई"ये कह गया रंगूनी दलाल, दलाल, दलालसेठजी, तुमने किया कमाल, सेठजीवो फ़ेंका पासा क़िस्मत काखुल गया लिफ़ाफ़ा इज़्ज़त कातुम एक के ११ करते थेदाँतों से दमड़ी पकड़े थेजी, दाँतों से दमड़ी पकड़े थेओ, करोड़पति जलते तुमसेजय बोल रहे, "कंगाल रहे कंगाल"सेठजी, तुमने किया कमाल, सेठजीओ, सेठजी, तुमने किया कमाल, सेठजीअन्न देकर धरम लिया तुमनेअन्न देकर धरम लिया तुमनेअंजाने काम किया तुमनेअंजाने काम किया तुमनेमंदर, बाज़ार, बगीचे, सबचलते तेरे नाम के नीचे अबओ, छप गए photo जगह-जगहहो गए दुश्मन ठन-ठन पाल रे, ठन-ठन पालसेठजी, तुमने किया कमाल, सेठजीअब black से नहीं कमाना हैना income tax दबाना हैहमने ये दिल में ठाना हैकुछ ऐसा करके जाना हैजी, कुछ ऐसा करके जाना हैओ, देकर urgent तार बुलाएदिल्ली का कोतवाल, कोतवाल, कोतवालओ, सेठजी, तुमने किया कमाल, सेठजी	नज़र वो जो दुश्मन पे भी मेहरबाँ होनज़र वो जो दुश्मन पे भी मेहरबाँ होज़ुबाँ वो जो इक प्यार की दास्ताँ होकिसी ने कहा है, मेरे दोस्तोंकिसी ने कहा है, मेरे दोस्तों"बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो"किसी ने कहा है, मेरे दोस्तों"बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो"बुरी है बुराई, मेरे दोस्तोंबुरा मत सुनो, बुरा मत देखो, बुरा मत कहोबुरा मत सुनो, बुरा मत देखो, बुरा मत कहोज़माने में सब ज़िंदगी यूँ गुज़ारेंज़माने में सब ज़िंदगी यूँ गुज़ारेंगुलिस्ताँ में रहती हैं जैसे बहारेंये कहानी यही है, ज़िंदगानी यही हैये कहानी यही है, ज़िंदगानी यही हैजियो आप, औरों को भी जीने दोबुरा मत सुनो, बुरा मत देखो, बुरा मत कहोबुरा मत सुनो, बुरा मत देखो, बुरा मत कहोहसीं हैं बहुत ज़ुल्फ़ के भी फ़सानेहसीं हैं बहुत ज़ुल्फ़ के भी फ़सानेमोहब्बत की बातें, वफ़ा के तरानेये तराने सुनाओ, ये फ़साने सुनाओये तराने सुनाओ, ये फ़साने सुनाओमगर याद रखो, मेरे साथियों"बुरा मत सुनो, बुरा मत देखो, बुरा मत कहो"किसी ने कहा है, मेरे दोस्तोंबुरी है बुराई, मेरे दोस्तोंबुरा मत सुनो, बुरा मत देखो, बुरा मत कहोबुरा मत सुनो, बुरा मत द...
  ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇਜਲਸਾ ਲਗਾਇਆਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀ(ਹੋ ਹੋ ਹੋ)ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇਜਲਸਾ ਲਗਾਇਆਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀਰਿਸ਼ਮਾਂ ਨੇ, ਰਿਸ਼ਮਾਂ ਨੇਹੋ, ਰਿਸ਼ਮਾਂ ਨੇ ਦੂਧੀਆਜਿਹੀ ਪਈ ਸੀ ਪੋਸ਼ਾਕਮਾਰੀ ਤਾਰਿਆਂ ਨੂੰ ਹਾਕਓਹ ਤਾਂ ਹੋਰ ਹੀ ਜਹਾਨ ਸੀ!ਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇਜਲਸਾ ਲਗਾਇਆ(ਜਲਸਾ ਲਗਾਇਆ)ਜਲਸਾ ਲਗਾਇਆ!ਜਲਸਾ ਲਗਾਇਆ!ਪਿਆਰ ਵਾਲੇ ਪਿੰਡ ਦੀਆਂਮਹਿਕ ਦੀਆਂ ਜੂਹਾਂਅੱਗੇ ਸੰਧਲੀ ਬਹਿਰੂਹਾਂਤੇ ਬਲੌਰੀ ਦਹਲੀਜ਼ ਹੈਪਿਆਰ ਵਾਲੇ ਪਿੰਡ ਦੀਆਂਮਹਿਕ ਦੀਆਂ ਜੂਹਾਂਸੰਧਲੀ ਬਹਿਰੂਹਾਂਬਲੌਰੀ ਦਹਲੀਜ਼ ਹੈਦਿਲਾਂ ਵਾਲੇ ਕਮਰੇ 'ਚਨੂਰ ਹੋਵੇਗਾ, ਜੀ ਹਾਂ!ਜ਼ਰੂਰ ਹੋਵੇਗਾ ਕਿਇਸ਼ਕ ਰੌਸ਼ਨੀ ਦੀ ਚੀਜ਼ ਹੈਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇਜਲਸਾ ਲਗਾਇਆ(ਜਲਸਾ ਲਗਾਇਆ)ਹੋ, ਜਲਸਾ ਲਗਾਇਆ!ਜਲਸਾ ਲਗਾਇਆ!(ਹੇ, ਬੱਲੇ-ਬੱਲੇ-ਬੱਲੇ)ਸੁਣਿਆਂ ਕਿ ਤੇਰਾਕਾਲ਼ੇ ਰੰਗ ਦਾ ਤਵੀਤਵਿੱਚ ਸਾਂਭੇ ਹੋਏ ਨੇ ਗੀਤਨੀ ਤੂੰ ਮਾਹੀ Sartaaj ਦੇ(ਹੋ ਹੋ ਹੋ)ਸੁਣਿਆਂ ਕਿ ਤੇਰਾਕਾਲ਼ੇ ਰੰਗ ਦਾ ਤਵੀਤਸਾਂਭੇ ਹੋਏ ਨੇ ਗੀਤਨੀ ਤੂੰ ਮਾਹੀ Sartaaj ਦੇਹੋਵੇ ਤਾਂ ਜੇ ਹੋਵੇ ਸੱਚੀਐਹੋ ਜਿਹੀ ਪ੍ਰੀਤਏਹ ਮੋਹਬੱਤਾਂ ਦੀ ਰੀਤਲੋਕੀ ਏਸੇ ਨੂੰ ਨਵਾਜ਼ਦੇਚਾਨਣੀ ਨੇ ਪੁੰਨਿਆ 'ਤੇਜਲਸਾ ਲਗਾਇਆਸੱਦਾ ਝੀਲ ਨੂੰ ਵੀ ਆਇਆਚੰਨ ਮੁੱਖ ਮਹਿਮਾਨ ਸੀ(ਹੋ, ਹੋ, ਹੋ)(ਹੋ, ਹੋ, ਹੋ)(ਹੋ, ਹੋ, ਹੋ)ਜਲਸਾ ਲਗਾਇਆ!(ਹੋ...	सर झुका के, कर सलाम हैशाम शानदारआसमां से आ गिरी हैशाम शानदारचक दे अँधेरा, चाँद जला देबल्ब बना केफ़िक्र ना करियो, करना भी क्या हैबिजली बचा केसरेआम पिला ख़ुशी के जाम शानदारआसमां से आ गिरी ये शाम शानदारजज़्बात के चिल्लर, को नोट बना केमेहंदी रात पे खुल के लूटाचिंगारियों को, विस्फोट बना केअय्याशी के तू रॉकेट छुड़ाकैसा डर, तू कर गुज़र, ये काम शानदारआसमां से आ गिरी ये शाम शानदारये शाम शानदार	Uski Rahamat Ke BinaMilta Na Kuch Bhi YahanChahe Banda Ye KareJitni Bhi ManmaniyaanMitti Ka Ye JisamMitti Me Hi MileChahe Banda Ye KareJitni Bhi ManmaniyaanUske Dar Pe Sar Jo JhukayegaPhir Ye Khel Samajh AayegaBulleya Man JaaYe Hawa Kya HaiUska KaramYe Khuda Kya HaiMera SanamYe Hawa Kya HaiUska KaramYe Khuda Kya HaiMera SanamUski Nazar MeTu Hai KhilonaMit JayegaJo Naa ChalegaBulleyaBulleya Man JaaUski Rahamat Ke BinaMilta Na Kuch Bhi YahanChahe Banda Ye KareJitni Bhi ManmaniyaanMitti Ka Ye JisamMitti Me Hi MileChahe Banda Ye KareJitni Bhi ManmaniyaanUske Dar Pe Sar Jo JhukayegaPhir Ye Khel Samajh AayegaBulleya Man Jaa
  आ, अब लौट चलेंआ, अब लौट चलेंनैन बिछाए, बाँहें पसारेतुझको पुकारे देश तेराआ, अब लौट चलेंआ, अब लौट चलेंनैन बिछाए, बाँहें पसारेतुझको पुकारे देश तेराआजा रेआजा रेआ-आ, आसहेज है सीधी राह पे चलनादेख के, उलझन बच के निकलनाकोई ये चाहे माने ना मानेबहुत है मुश्किल गिर के सँभलनाआ, अब लौट चलेंआ, अब लौट चलेंनैन बिछाए, बाँहें पसारेतुझको पुकारे देश तेराआजा रेआजा रेआँख हमारी मंज़िल पर हैदिल में ख़ुशी की मस्त लहर हैलाख लुभाएँ महल पराएअपना घर फिर अपना घर हैआ, अब लौट चलें	प्यारी हैं मुझे देश की ज़मीनमेरे देश के ज़मीनमेरे देश के ज़मीनहो हो प्यारी हैं मुझे देश की ज़मीनमेरे देश के ज़मीनयहाँ न कोई कमीहरियाली की बस्ती हैं यहाँहवा-हवा में मस्ती हैं यहाँकही शेरे-वेर कही हिरन-विरनकही पेड़ घने या धुप किरणडग-डग झूमे हाथीपंछी नदियाँ सब साथीहैं यहाँ रंगोली कुदरत की और अजब सी बोलीकैसे न प्यार आये बोलो?क्यों न बहार आये बोलो?प्यारी हैं मुझे देश की ज़मीनमेरे देश के ज़मीनमेरे देश के ज़मीनहो हो प्यारी हैं मुझे देश की ज़मीनमेरे देश के ज़मीनयहाँ न कोई कमीThis is my world, this is my homeFrom the glory of these mountainsTo the depth of these blue seasThis is our world, this is our homeAnd just a we belong to natureKnow that she belongs to you and meयहाँ समुंदरों का बड़ा हैं दिलपानी में जीवन की महफ़िलमछिली मचले कही वाहेर खिलकछुवों की चल मगर हैं कमालपर्वत-पर्वत उतरे झरनेछल-छल कल-कल जीवन करनेपंछी उड़ान बड़ा आसमाननीले सपनो का हैं ये जहा (ये सच्चा नूर बरसता हैं)और प्रेम में ये सर झुकता हैकैसे न प्यार आये बोलो?क्यों न बहार आये बोलो?प्यारी हैं मुझे देश की ज़म...	Ho. hayeOye happy budday to you.Happy happy budday to youArrey aire-gaire samjhe magarr.Bas aashiqon pe rahe curfewO banno solah saalon ka tika laga doon(Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin)Oye bachu tere bachpan ka beema karan doon(Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin)Umr chadhti rahegi, saal ghat'te rahengeAur hoti rahegi guftguuHappy budday to you.Happy-happy budday to youAire-gaire samjhe magar.Bas aashiqon pe rahe curfewArrey kichad hai raste mePainche utha doon(Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin)Arrey sardi hai dhakkan me love-peg pila dun(Tinak-dhin tinak-dhin, tinak-dhin tinak-dhin)O badi bhi na hona warnaGoonghat tale se bhej denge bana kar bahu.Happy budday to you.Happy-happy budday to youAire-gaire samjhe magar.Bas aashiqon pe rahe curfewSadde waddey, sadde naal vaddeyHappy shappy, happy shappy buddaySadde waddey, sadde naal vaddeyHappy shappy. happy budday to you.O. ek raati jo baarati tere ghar laaya koiGhanti baji ...

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.4
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• num_train_epochs: 5
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.45.2
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}