CrossEncoder based on BAAI/bge-reranker-v2-m3
This is a Cross Encoder model finetuned from BAAI/bge-reranker-v2-m3 using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
Model Details
Model Description
- Model Type: Cross Encoder
- Base model: BAAI/bge-reranker-v2-m3
- Maximum Sequence Length: 8192 tokens
- Number of Output Labels: 1 label
- Supported Modality: Text
Model Sources
- Documentation: Sentence Transformers Documentation
- Documentation: Cross Encoder Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Cross Encoders on Hugging Face
Full Model Architecture
CrossEncoder(
(0): Transformer({'transformer_task': 'sequence-classification', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'logits'}}, 'module_output_name': 'scores', 'architecture': 'XLMRobertaForSequenceClassification'})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of inputs
pairs = [
['डायपर rash क्या है', 'एक संक्रामक रोग जो व्यक्ति से व्यक्ति में फैलता है'],
['गर्भपात क्या है?', 'एक स्वैच्छिक गर्भपात, जिसके विभिन्न कारण हो सकते हैं (जैसे विकृति या बीमारी) ।'],
['स्तनपान कराने के दौरान मैं अपनी कम होने की गति कैसे बढ़ा सकता हूँ?', 'स्तन दूध से भरते समय सूजन, कोमल और गर्म महसूस कर सकते हैं। घर्षण से कसकर और धड़कन हो सकती है। प्रबंधन में सहायक ब्रा पहनना, छोटी मात्रा में दूध का व्यक्त करना, ठंडे कंप्रेसेस का उपयोग करना और स्तनपान तकनीक का पालन करना शामिल है।'],
['प्रसव के बाद आपात स्थिति में मुझे क्या करना चाहिए?', 'यदि आप पहले जन्म लेते हैं और एक घंटे के लिए नियमित संकुचन होते हैं, या यदि आपके पहले प्रसव होते हैं और आप पहले भी प्रत्येक पांच मिनट या उससे कम समय में संकुचन करते हैं, तो आपको तुरंत अस्पताल या प्रसव केंद्र जाना चाहिए। यदि आप 30 मिनट से अधिक दूर रहते हैं, तो संकुचन होने पर अस्पताल जाएं। इसके अलावा, यदि आपका पानी टूट जाता है, आप रक्त खो रहे हैं, या आप अपने बच्चे को आगे नहीं बढ़ते हैं, तो जाएं। गर्भावस्था के अंत में, यह महत्वपूर्ण है कि आप अपने डॉक्टर या सुशांत से परामर्श करें कि कब जाने का सही समय है, आपके स्वास्थ्य, पिछले प्रसव और अस्पताल से कितनी दूर रहते हैं, जैसे कारकों को ध्यान में रखते हुए।'],
['अस्पताल में स्तनपान कराने के दबाव से कैसे बचें?', 'यदि आपका बच्चा शुरू में स्तनपान नहीं कर सकता है, तो आप स्तनपान पंप का उपयोग करके अपना दूध व्यक्त कर सकते हैं। अस्पताल, विशेष रूप से गहन देखभाल वार्ड में, आमतौर पर स्तनपान पंप उपलब्ध होते हैं और आपको दूध व्यक्त करने में मदद कर सकते हैं। चिंता न करें यदि पहली बार केवल कुछ बूंदें निकलती हैं तो नियमित उत्तेजना दूध उत्पादन बढ़ाने की कुंजी है। याद रखें, नवजात शिशुओं के पेट बहुत छोटे होते हैं और शुरुआत में उन्हें केवल थोड़ी मात्रा में दूध की आवश्यकता होती है। अपने बच्चे के करीब रहना या दूध व्यक्त करने से पहले त्वचा-दर-दर में संपर्क करना उत्पादन बढ़ाने में मदद कर सकता है। यदि स्तनपान आपकी प्रारंभिक योजना का हिस्सा नहीं था, तो यह शुरू करने के लिए बहुत देर नहीं है। इसके अलावा, यदि आवश्यक हो तो आपके बच्चे की जरूरतों के लिए अतिरिक्त खनिज पदार्थ या कैलोरी आपके दूध में जोड़ी जा सकती हैं।'],
]
scores = model.predict(pairs)
print(scores)
# [0.0777 0.1314 0.1593 0.1767 0.1851]
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'डायपर rash क्या है',
[
'एक संक्रामक रोग जो व्यक्ति से व्यक्ति में फैलता है',
'एक स्वैच्छिक गर्भपात, जिसके विभिन्न कारण हो सकते हैं (जैसे विकृति या बीमारी) ।',
'स्तन दूध से भरते समय सूजन, कोमल और गर्म महसूस कर सकते हैं। घर्षण से कसकर और धड़कन हो सकती है। प्रबंधन में सहायक ब्रा पहनना, छोटी मात्रा में दूध का व्यक्त करना, ठंडे कंप्रेसेस का उपयोग करना और स्तनपान तकनीक का पालन करना शामिल है।',
'यदि आप पहले जन्म लेते हैं और एक घंटे के लिए नियमित संकुचन होते हैं, या यदि आपके पहले प्रसव होते हैं और आप पहले भी प्रत्येक पांच मिनट या उससे कम समय में संकुचन करते हैं, तो आपको तुरंत अस्पताल या प्रसव केंद्र जाना चाहिए। यदि आप 30 मिनट से अधिक दूर रहते हैं, तो संकुचन होने पर अस्पताल जाएं। इसके अलावा, यदि आपका पानी टूट जाता है, आप रक्त खो रहे हैं, या आप अपने बच्चे को आगे नहीं बढ़ते हैं, तो जाएं। गर्भावस्था के अंत में, यह महत्वपूर्ण है कि आप अपने डॉक्टर या सुशांत से परामर्श करें कि कब जाने का सही समय है, आपके स्वास्थ्य, पिछले प्रसव और अस्पताल से कितनी दूर रहते हैं, जैसे कारकों को ध्यान में रखते हुए।',
'यदि आपका बच्चा शुरू में स्तनपान नहीं कर सकता है, तो आप स्तनपान पंप का उपयोग करके अपना दूध व्यक्त कर सकते हैं। अस्पताल, विशेष रूप से गहन देखभाल वार्ड में, आमतौर पर स्तनपान पंप उपलब्ध होते हैं और आपको दूध व्यक्त करने में मदद कर सकते हैं। चिंता न करें यदि पहली बार केवल कुछ बूंदें निकलती हैं तो नियमित उत्तेजना दूध उत्पादन बढ़ाने की कुंजी है। याद रखें, नवजात शिशुओं के पेट बहुत छोटे होते हैं और शुरुआत में उन्हें केवल थोड़ी मात्रा में दूध की आवश्यकता होती है। अपने बच्चे के करीब रहना या दूध व्यक्त करने से पहले त्वचा-दर-दर में संपर्क करना उत्पादन बढ़ाने में मदद कर सकता है। यदि स्तनपान आपकी प्रारंभिक योजना का हिस्सा नहीं था, तो यह शुरू करने के लिए बहुत देर नहीं है। इसके अलावा, यदि आवश्यक हो तो आपके बच्चे की जरूरतों के लिए अतिरिक्त खनिज पदार्थ या कैलोरी आपके दूध में जोड़ी जा सकती हैं।',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
Evaluation
Metrics
Cross Encoder Binary Classification
- Dataset:
Hindi-dev - Evaluated with CEBinaryClassificationEvaluator
| Metric | Value |
|---|---|
| accuracy | 0.7699 |
| accuracy_threshold | 0.1972 |
| f1 | 0.5031 |
| f1_threshold | 0.133 |
| precision | 0.3974 |
| recall | 0.6852 |
| average_precision | 0.48 |
Training Details
Training Dataset
Unnamed Dataset
- Size: 12,668 training samples
- Columns: sentence_0, sentence_1, and label
- Approximate statistics based on the first 100 samples:
sentence_0 sentence_1 label type string string float modality text text details min: 7 tokensmean: 20.54 tokensmax: 61 tokens min: 12 tokensmean: 70.12 tokensmax: 245 tokens min: 0.0mean: 0.24max: 1.0 - Samples:
sentence_0 sentence_1 label डायपर rash क्या है एक संक्रामक रोग जो व्यक्ति से व्यक्ति में फैलता है 0.0 गर्भपात क्या है? एक स्वैच्छिक गर्भपात, जिसके विभिन्न कारण हो सकते हैं (जैसे विकृति या बीमारी) । 0.0 स्तनपान कराने के दौरान मैं अपनी कम होने की गति कैसे बढ़ा सकता हूँ? स्तन दूध से भरते समय सूजन, कोमल और गर्म महसूस कर सकते हैं। घर्षण से कसकर और धड़कन हो सकती है। प्रबंधन में सहायक ब्रा पहनना, छोटी मात्रा में दूध का व्यक्त करना, ठंडे कंप्रेसेस का उपयोग करना और स्तनपान तकनीक का पालन करना शामिल है। 0.0 - Loss: BinaryCrossEntropyLoss with these parameters:
{ "activation_fn": "torch.nn.modules.linear.Identity", "pos_weight": null }
Training Hyperparameters
Non-Default Hyperparameters
per_device_train_batch_size: 2fp16: Trueper_device_eval_batch_size: 2
All Hyperparameters
per_device_train_batch_size: 2num_train_epochs: 3max_steps: -1learning_rate: 5e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0optim: adamw_torch_fusedoptim_args: Noneweight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 1average_tokens_across_devices: Truemax_grad_norm: 1label_smoothing_factor: 0.0bf16: Falsefp16: Truebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 2prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Falseignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Nonedataloader_multiprocessing_context: Nonedataloader_in_order: Trueremove_unused_columns: Truelabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonelocal_rank: -1prompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}warmup_ratio: None
Training Logs
| Epoch | Step | Training Loss | Hindi-dev_average_precision |
|---|---|---|---|
| 0.0789 | 500 | 1.0523 | 0.4800 |
Training Time
- Training: 4.2 minutes
Framework Versions
- Python: 3.13.15
- Sentence Transformers: 5.7.0
- Transformers: 5.16.1
- PyTorch: 2.11.0+cu128
- Accelerate: 1.14.0
- Datasets: 4.8.5
- Tokenizers: 0.23.1
Additional Resources
- Training and Finetuning Reranker Models with Sentence Transformers: the end-to-end guide for training or finetuning Cross Encoder (reranker) models.
- Multimodal Embedding & Reranker Models with Sentence Transformers: use text, image, audio, and video reranker models through the same API.
- Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers: training multimodal Cross Encoders.
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}