paraphrase-multilingual-MiniLM-L12-v2 fine-tuned on German mMARCO

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 on the csv dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • csv
• Language: de
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tomaarsen/paraphrase-multilingual-MiniLM-L12-v2-de-mmarco")
# Run inference
queries = [
    'Welche Grafschaft ist Los Lunas?',
]
documents = [
    'Gesponserte Themen. Los Lunas ist ein Dorf im Landkreis Valencia, New Mexico, in den Vereinigten Staaten. Bei der Volkszählung von 2010 beträgt die Dorfbevölkerung 24.877 innerhalb der Dorfgrenzen aufgrund der neuen Wohnsiedlungen bei El Cerro de Los Lunas (Huning Ranch). Es ist die Kreisstadt des Landkreises Valencia. Los Lunas ist Teil des statistischen Metropolitangebiets von Albuquerque. Der Name Los Lunas ist eine teilweise Anglisierung des Namens der Familie Luna, die sich ursprünglich in der Gegend niederließ (los Luna, auf Spanisch).',
    'Der VISA-Fragebogen zu Achillessehnenschmerzen wurde entwickelt, um Symptome während der Rehabilitation zu messen. Eine MRT- oder Ultraschalluntersuchung kann das Ausmaß der Verletzung bestimmen und eine genaue Diagnose anzeigen. Lesen Sie mehr über Achilles-Symptome und Diagnose. Was ist eine Achillessehnenentzündung? Die Achillessehne ist die große Sehne an der Rückseite des Sprunggelenks. Es verbindet die großen Wadenmuskeln an der Rückseite des Unterschenkels mit dem Fuß und setzt an der Rückseite der Ferse oder des Fersenbeins ein. Es liefert die Kraft in der Abstoßphase des Gehens und Laufens, bei der enorme Kräfte über die Achillessehne übertragen werden. Eine Achillessehnenentzündung ist in der Regel eine Überlastungsverletzung, die dadurch verursacht wird, dass zu früh zu viel getan wird.',
    'Ein Erkältungsmittel, das in vielen Kulturen verwendet wird und warme Flüssigkeiten wie Hühnersuppe, Tee oder warmer Apfelsaft einnimmt, kann beruhigend sein und Verstopfungen lindern, indem es den Schleimfluss erhöht. Füge der Luft Feuchtigkeit hinzu. Ein Kaltnebel-Verdampfer oder -Luftbefeuchter kann Ihrem Zuhause Feuchtigkeit hinzufügen, was dazu beitragen kann, Staus zu lösen.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 384] [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.8540,  0.0020, -0.1023]])

Evaluation

Metrics

Information Retrieval

• Dataset: mmarco-de-dev
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 532,751 training samples
• Columns: query and passage
• Approximate statistics based on the first 100 samples:

  	query	passage
  type	string	string
  modality	text	text
  details	min: 4 tokensmean: 11.54 tokensmax: 44 tokens	min: 40 tokensmean: 92.6 tokensmax: 228 tokens

• Samples:

  query	passage
  ) Welche unmittelbaren Auswirkungen hatte der Erfolg des Manhattan-Projekts?	Die Präsenz der Kommunikation unter wissenschaftlichen Köpfen war für den Erfolg des Manhattan-Projekts ebenso wichtig wie der wissenschaftliche Intellekt. Über der beeindruckenden Leistung der Atomforscher und -ingenieure schwebt nur, was ihr Erfolg wirklich bedeutete; Hunderttausende unschuldiger Leben ausgelöscht.
  Die _________ Gerechtigkeit dient dazu, den Schaden, der dem Opfer, der Gemeinschaft und dem Täter durch die Straftat des Täters entstanden ist, wiedergutzumachen. Frage 19 Optionen:	Der Ansatz basiert auf einer Gerechtigkeitstheorie, die Verbrechen und Fehlverhalten als eine Straftat gegen eine Person oder eine Gemeinschaft und nicht gegen den Staat betrachtet. Restorative Justice, die den Dialog zwischen Opfern und Tätern fördert, hat die höchsten Raten bei der Opferzufriedenheit und der Verantwortlichkeit des Täters gezeigt.
  welche farbe hat bernstein urin	Farbe Urin kann eine Vielzahl von Farben haben, meistens Gelbtöne, von sehr blass oder farblos bis sehr dunkel oder bernsteinfarben. Ungewöhnliche oder abnormale Urinfarben können das Ergebnis eines Krankheitsprozesses, mehrerer Medikamente (z. B. Multivitamine können den Urin hellgelb färben) oder das Ergebnis des Verzehrs bestimmter Lebensmittel sein.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 5,000 evaluation samples
• Columns: query and passage
• Approximate statistics based on the first 100 samples:

  	query	passage
  type	string	string
  modality	text	text
  details	min: 4 tokensmean: 11.24 tokensmax: 47 tokens	min: 19 tokensmean: 87.72 tokensmax: 222 tokens

• Samples:

  query	passage
  Wie viele Jahre war William Bradford Gouverneur der Plymouth-Kolonie?	http://en.wikipedia.org/wiki/William_Bradford_(Plymouth_Colony_governor) William Bradford (c.1590 –) war ein englischer Separatistenführer in Leiden, Holland und in der Plymouth Colony war ein Unterzeichner des Mayflower Compact. Zwischen 1621 und 1657 diente er fünfmal als Gouverneur der Kolonie Plymouth, etwa dreißig Jahre lang.
  präventiv definieren	Adjektiv[Bearbeiten] präventiv âÂâ'¬Ã‚Ž (Vergleich präventiver, Superlativ am präventivsten) 1 Verhindern, behindern oder als Hindernis fungieren. Ausgeführt, um militärische Aggressionen abzuschrecken.
  Farbüberlagerung Photoshop	Photoshop: Farbüberlagerung. In meinem Tutorial zum Nachbessern bei Sonnenlicht habe ich Ihnen gezeigt, wie Sie Ihrem Foto einen Hauch von Farbe verleihen und ihm gleichzeitig einen zusätzlichen Schub verleihen. Manchmal kann ein Foto jedoch von ein wenig Farbe profitieren, aber es braucht diesen zusätzlichen Schub einfach nicht. Oder sogar eine kleine leichte Optimierung. Diese einfache Farbüberlagerung ist eine großartige Möglichkeit, einen Hauch von Farbe hinzuzufügen, ohne Ihr Foto aussehen zu lassen, als hätten Sie es bearbeitet. Oder um Schwarzweißfotos ein wenig Leben einzuhauchen. Hinweis: Dies funktioniert in Elements genauso wie in Photoshop.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 1
• learning_rate: 2e-05
• warmup_steps: 0.1
• weight_decay: 0.01
• bf16: True
• per_device_eval_batch_size: 128
• load_best_model_at_end: True
• seed: 12
• batch_sampler: no_duplicates

All Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 128
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 12
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

• The bold row denotes the saved checkpoint.

Training Time

• Training: 21.7 minutes
• Evaluation: 1.2 minutes
• Total: 23.0 minutes

Framework Versions

• Python: 3.11.6
• Sentence Transformers: 5.5.0
• Transformers: 5.6.2
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0.dev0
• Datasets: 4.8.4
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}