CrossEncoder

This is a Cross Encoder model trained using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder

• Maximum Sequence Length: 8192 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
    [' Un autre nom pour le cortex visuel primaire est', 'Le cortex visuel primaire (parties du cortex qui reçoivent des entrées sensorielles du thalamus) est également connu sous le nom de V1, zone visuelle un et cortex strié. Les zones extrastriées se composent des zones visuelles deux (V2), trois (V3), quatre (V4) et cinq (V5). Le cortex visuel primaire est la zone visuelle la mieux étudiée dans le cerveau. Chez tous les mammifères étudiés, il est situé dans le pôle postérieur du cortex occipital (le cortex occipital est responsable du traitement des stimuli visuels).'],
    [' Un autre nom pour le cortex visuel primaire est', "Par exemple, la zone d'association visuelle sur la partie inférieure du lobe temporal joue un rôle primordial dans votre capacité à reconnaître les visages, les chiens, les voitures, les arbres, etc., tandis que le cortex visuel primaire est requis pour détecter les caractéristiques de base du monde visuel. : bords, clair et foncé, emplacement, etc."],
    [' Un autre nom pour le cortex visuel primaire est', "Un article de Wikipédia, l'encyclopédie libre. Le cortex gustatif primaire est une structure cérébrale responsable de la perception du goût. Il se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/ Opercule frontal).t se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/Frontal Operculum)."],
    [' Un autre nom pour le cortex visuel primaire est', "Cortex moteur primaire (zone de Brodmann 4) de l'hémisphère cérébral gauche représenté en rouge. Le cortex moteur primaire (zone de Brodmann 4) est une région du cerveau qui, chez l'homme, est située dans la partie dorsale du lobe frontal."],
]
scores = model.predict(pairs)
print(scores.shape)
# (4,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    ' Un autre nom pour le cortex visuel primaire est',
    [
        'Le cortex visuel primaire (parties du cortex qui reçoivent des entrées sensorielles du thalamus) est également connu sous le nom de V1, zone visuelle un et cortex strié. Les zones extrastriées se composent des zones visuelles deux (V2), trois (V3), quatre (V4) et cinq (V5). Le cortex visuel primaire est la zone visuelle la mieux étudiée dans le cerveau. Chez tous les mammifères étudiés, il est situé dans le pôle postérieur du cortex occipital (le cortex occipital est responsable du traitement des stimuli visuels).',
        "Par exemple, la zone d'association visuelle sur la partie inférieure du lobe temporal joue un rôle primordial dans votre capacité à reconnaître les visages, les chiens, les voitures, les arbres, etc., tandis que le cortex visuel primaire est requis pour détecter les caractéristiques de base du monde visuel. : bords, clair et foncé, emplacement, etc.",
        "Un article de Wikipédia, l'encyclopédie libre. Le cortex gustatif primaire est une structure cérébrale responsable de la perception du goût. Il se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/ Opercule frontal).t se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/Frontal Operculum).",
        "Cortex moteur primaire (zone de Brodmann 4) de l'hémisphère cérébral gauche représenté en rouge. Le cortex moteur primaire (zone de Brodmann 4) est une région du cerveau qui, chez l'homme, est située dans la partie dorsale du lobe frontal.",
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Training Details

Training Dataset

Unnamed Dataset

• Size: 502,939 training samples
• Columns: query, docs, and labels
• Approximate statistics based on the first 1000 samples:

  	query	docs	labels
  type	string	list	list
  details	min: 10 charactersmean: 44.93 charactersmax: 198 characters	min: 4 elementsmean: 5.50 elementsmax: 7 elements	min: 4 elementsmean: 5.50 elementsmax: 7 elements

• Samples:

  query	docs	labels
  Un autre nom pour le cortex visuel primaire est	['Le cortex visuel primaire (parties du cortex qui reçoivent des entrées sensorielles du thalamus) est également connu sous le nom de V1, zone visuelle un et cortex strié. Les zones extrastriées se composent des zones visuelles deux (V2), trois (V3), quatre (V4) et cinq (V5). Le cortex visuel primaire est la zone visuelle la mieux étudiée dans le cerveau. Chez tous les mammifères étudiés, il est situé dans le pôle postérieur du cortex occipital (le cortex occipital est responsable du traitement des stimuli visuels).', "Par exemple, la zone d'association visuelle sur la partie inférieure du lobe temporal joue un rôle primordial dans votre capacité à reconnaître les visages, les chiens, les voitures, les arbres, etc., tandis que le cortex visuel primaire est requis pour détecter les caractéristiques de base du monde visuel. : bords, clair et foncé, emplacement, etc.", "Un article de Wikipédia, l'encyclopédie libre. Le cortex gustatif primaire est une structure cérébrale responsable de la perception du goût. Il se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/ Opercule frontal).t se compose de deux sous-structures : l'insula antérieure sur le lobe insulaire et l'opercule frontal sur le gyrus frontal inférieur du lobe frontal. En raison de sa composition, le cortex gustatif primaire est parfois appelé dans la littérature AI/FO (Anterior Insula/Frontal Operculum).", "Cortex moteur primaire (zone de Brodmann 4) de l'hémisphère cérébral gauche représenté en rouge. Le cortex moteur primaire (zone de Brodmann 4) est une région du cerveau qui, chez l'homme, est située dans la partie dorsale du lobe frontal."]	[1, 0, 0, 0]
  Définir l'alcoolisme comme une maladie est associé à Jellinek	['La formation des AA â€Ââ€" les Alcooliques anonymes â€Ââ€" dans les années 1930 et la publication d'un psychiatre de renom et directeur du Center of Alcohol Studies at Yale Medical Le célèbre livre de l'école EM Jellinek, définissant le concept d'alcoolisme en tant que maladie médicale, a facilité le passage de l'alcoolisme à un autre éclairage. L'alcoolisme est une dépendance, il est considéré comme une maladie du cerveau. Le cerveau a été physiquement altéré par une exposition prolongée à l'alcool, le faisant fonctionner différemment et créant ainsi un comportement addictif.', "L'alcoolisme, également connu sous le nom de trouble de consommation d'alcool (AUD) et de syndrome de dépendance à l'alcool, est un terme général pour toute consommation d'alcool qui entraîne des problèmes. Il était auparavant divisé en deux types : l'abus d'alcool et la dépendance à l'alcool.", "Selon l'organisation, l'alcoolisme est une maladie familiale. Le préambule des douze étapes fournit une description générale : Les Groupes familiaux Al-Anon sont une association de parents et d'amis d'alcooliques qui partagent leur expérience, leur force et leur espoir afin de résoudre leurs problèmes communs.", "Les maladies les plus courantes associées au cancer du foie sont l'hépatite virale chronique, l'alcoolisme et la cirrhose (cicatrisation du foie). De plus, l'hépatite virale chronique est courante dans l'alcoolisme, et l'hépatite virale et l'alcoolisme provoquent une cirrhose qui précède généralement le développement du cancer."]	[1, 0, 0, 0]
  L'ECT est un traitement utilisé pour	["Thérapie électroconvulsive (ECT). Guider. La thérapie par électrochocs (ECT) est une procédure utilisée pour traiter la dépression sévère. Il peut être utilisé chez les personnes présentant des symptômes tels que des idées délirantes, des hallucinations ou des pensées suicidaires ou lorsque d'autres traitements tels que la psychothérapie et les médicaments antidépresseurs n'ont pas fonctionné. schizophrénie). Parfois, l'ECT \u200b\u200best utilisé pour les personnes âgées qui prennent plusieurs médicaments pour d'autres maladies et qui ne sont pas en mesure de prendre des médicaments supplémentaires pour la dépression.", "La femme de Sunil savait que les antidépresseurs ne fonctionnaient pas bien pour son mari et a supplié €Â pour lui d'avoir ECT. Il dit que c'est le seul traitement qui l'aide lorsqu'il est gravement déprimé. John Z était catatonique quand il a eu l'ECT \u200b\u200bet c'était la seule réponse.", "Comme toute procédure médicale, l'ECT \u200b\u200bcomporte certains risques. Le traitement par ECT a été associé à une perte de mémoire à court terme et à des difficultés d'apprentissage. Certaines personnes ont du mal à se souvenir des événements survenus dans les semaines précédant le traitement ou plus tôt. Dans la plupart des cas, les problèmes de mémoire s'améliorent en quelques mois.", "L'ECT est parmi les traitements les plus sûrs et les plus efficaces disponibles pour la dépression. Avec l'ECT, des électrodes sont placées sur le cuir chevelu du patient et un courant électrique finement contrôlé est appliqué pendant que le patient est sous anesthésie générale. Le courant provoque une brève crise dans le cerveau."]	[1, 0, 0, 0]

• Loss: RankNetLoss with these parameters:

  {
      "k": null,
      "sigma": 1.0,
      "eps": 1e-10,
      "reduction_log": "binary",
      "activation_fn": "torch.nn.modules.linear.Identity",
      "mini_batch_size": null
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 3
• num_train_epochs: 1
• learning_rate: 0.0001
• lr_scheduler_type: cosine
• warmup_steps: 0.1
• gradient_accumulation_steps: 42
• bf16: True

All Hyperparameters

• per_device_train_batch_size: 3
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 0.0001
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 42
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: no
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.12.5
• Sentence Transformers: 5.3.0
• Transformers: 5.5.0
• PyTorch: 2.11.0+cu130
• Accelerate: 1.13.0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

RankNetLoss

@inproceedings{burges2005learning,
  title={Learning to Rank using Gradient Descent},
  author={Burges, Chris and Shaked, Tal and Renshaw, Erin and Lazier, Ari and Deeds, Matt and Hamilton, Nicole and Hullender, Greg},
  booktitle={Proceedings of the 22nd international conference on Machine learning},
  pages={89--96},
  year={2005}
}