SentenceTransformer based on mixedbread-ai/deepset-mxbai-embed-de-large-v1

This is a sentence-transformers model finetuned from mixedbread-ai/deepset-mxbai-embed-de-large-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: mixedbread-ai/deepset-mxbai-embed-de-large-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Welche Datenbestände dokumentieren die Fachaufsicht des BMI über Kinderbetreuungseinrichtungen in der Stadt Oberhof?',
    '\nDatenbestand\n    - titel: Kindertagesstätten der Stadt Oberhof\n    - typ: Fachverfahren\n    - kurzbeschreibung: Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof.\n    - allgemeine_beschreibung: Der Datensatz zeigt die Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof. Es handelt sich um einen Sekundärdatenbestand.\n    - fachliche_beschreibung: Der Datensatz wird von der Stadtverwaltung Oberhof verwaltet und dient dazu, Transparenz über die Kinderbetreuungseinrichtungen in Oberhof zu schaffen. Zuständige Behörden sind die Stadtverwaltung Oberhof und das Thüringer Ministerium für Inneres und Kommunales.\n    - zweck: Der Datensatz wird erhoben, um den Bürgern von Oberhof Informationen über die verfügbaren Kindertagesstätten und Kinderkrippen bereitzustellen.\n    - aktualisierungsfrequenz: http://inspire.ec.europa.eu/metadata-codelist/MaintenanceFrequencyCode/asNeeded\nDatenbestand hat Datenlieferanten\n    - name: Stadt Oberhof\nDatenbestand hat Schlagwort\n    - name: versorgungswirtschaft-und-staatliche-dienste\n    - name: kindertagesstätten\n    - name: kindergarten\n    - name: kinderbetreuung\n    - name: thüringen\n    - name: opendata\n    - name: kinderkrippe\n    - name: kita\nDatenbestand hat Kategorie\n    - name: Bildung\n    - name: Kultur und Sport\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\n    - name: Bevölkerung und Gesellschaft\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Stadt Oberhof\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Stadtverwaltung Oberhof\n    - kurzbezeichnung: Stadtverwaltung\n    - themen: Verwaltung, Bürgerdienste, Stadtrat, Satzungen\n    - ministerium_des_geschaeftsbereichs: Thüringer Ministerium für Inneres und Kommunales\n    - ressort: Kommunalverwaltung\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Thüringer Kindertageseinrichtungsgesetz\n    - kurzbezeichnung: ThürKigaG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.hfm-weimar.de/fileadmin/user_upload/Gesetze_Ordnungen/Thueringer_Gleichstellungsgesetz.pdf\n    - bezeichnung: Thüringer Verordnung zur Bestimmung der zentralen Landesstelle für den automatisierten Datenaustausch\nVerordnung\n    - referenz: https://parldok.thueringer-landtag.de/ParlDok/dokument/72529/gesetz_und_verordnungsblatt_nr_11_2019.pdf\n    - bezeichnung: Thüringer Verordnung über die Anerkennung der Vereinbarung einer erfüllenden Gemeinde\n',
    "\nDatenbestand\n    - titel: Luftbild 2002\n    - typ: Fachverfahren\n    - kurzbeschreibung: Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002.\n    - allgemeine_beschreibung: Der Datensatz 'Luftbild 2002' umfasst das Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002 mit einer Bodenauflösung von 0,16 Metern. Die Ressourcen werden in der Regel nicht aktualisiert.\n    - fachliche_beschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt, speziell vom Ressort Kommunalaufsicht. Er dient der Bereitstellung historischer Luftbilder für die Öffentlichkeit.\n    - zweck: Der Datensatz wird erhoben, um historische Luftbilder der Hanse- und Universitätsstadt Rostock und Umgebung aus dem Jahr 2002 bereitzustellen.\n    - einfuehrungsjahr: 2017\n    - zeitliche_abdeckung_start: 2002-03-01T00:00:00+01:00\n    - zeitliche_abdeckung_ende: 2002-05-01T00:00:00+02:00\nDatenbestand hat Datenlieferanten\n    - name: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Schlagwort\n    - name: luftbild\n    - name: Historisch\n    - name: Digitales Orthophoto\n    - name: 2002\n    - name: Bodenauflösung\n    - name: Rostock\n    - name: Luftbild\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Kategorie\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\nDatenbestand hat politische Ebenen\n    - name: Ebene der Landkreise und Regierungsbezirke\nDatenbestand hat politisches Gebiet\n    - name: Rostock\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat geografische Abdeckung\n    - name: Rostock und Umgebung\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Hanse- und Universitätsstadt Rostock\n    - kurzbezeichnung: Rostock\n    - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung\n    - ministerium_des_geschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern\n    - ressort: Kommunalaufsicht\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Bundesdatenschutzgesetz\n    - kurzbezeichnung: BDSG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.bgbl.de/xaver/bgbl/start.xav?start=%2F%2F*%5B%40attr_id%3D%27bgbl102s0027.pdf%27%5D\n    - bezeichnung: Verordnung über Art, Umfang, Beschaffenheit, Zulassung und Ausführung von Luftbildern\nVerordnung\n    - referenz: https://stadt.muenchen.de/rathaus/stadtrecht/vorschrift/831.html\n    - bezeichnung: Datenschutzrechtliche Belange bei Luftbildern\n",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_512
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,262 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 15 tokensmean: 29.17 tokensmax: 53 tokens	min: 308 tokensmean: 510.05 tokensmax: 512 tokens

• Samples:

  anchor	positive
  Welche Datenbestände decken die Region Rostock und Umgebung ab und enthalten Informationen zu Verkehrswegen und -sicherheit?	Datenbestand - titel: Großraum- und Schwertransportrouten - typ: Fachverfahren - kurzbeschreibung: Empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung mit Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind. - allgemeine_beschreibung: Der Datensatz umfasst die empfohlenen Großraum- und Schwertransportwege in der Hanse- und Universitätsstadt Rostock und Umgebung. Er enthält Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind. Die Ressourcen werden regelmäßig alle 365 Tage aktualisiert. - fachliche_beschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt. Zuständige Behörden sind das Ministerium für Inneres und Europa Mecklenburg-Vorpommern mit dem Ressort Kommunalaufsicht. Die Daten enthalten wichtige Informationen für die Verkehrsplanung und -sicherheit in Rostock und Umgebung. - zweck: Der Datensatz wird erhoben, um Informationen über empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung bereitzustellen. Er dient der Planung und Durchführung von Großraum- und Schwertransporten sowie der Sicherstellung der Verkehrssicherheit und Infrastrukturintegrität. - einfuehrungsjahr: 2018Datenbestand hat Datenlieferanten - name: Hanse- und Universitätsstadt RostockDatenbestand hat Schlagwort - name: verkehrsinfrastruktur - name: Erlaubnis - name: Genehmigung - name: straßennetz - name: stadtverkehr - name: infrastruktur - name: brücke - name: Großraum- und Schwertransport - name: straßenverkehrstechnik - name: tunnel - name: verkehr - name: bauwerk - name: Straßenverkehrs-Ordnung - name: öffentlicher-verkehr - name: straße - name: verkehrstechnik - name: straßenverkehr - name: öffentliche-straße - name: StraßenverkehrszulassungsverordnungDatenbestand hat Kategorie - name: Verkehr - name: Regierung und öffentlicher Sektor - name: Regionen und StädteDatenbestand hat politische Ebenen - name: Ebene der Landkreise und RegierungsbezirkeDatenbestand hat politisches Gebiet - name: Rostock - name: Hanse- und UniversitätsstadtDatenbestand hat Sprache - name: DeutschDatenbestand hat geografische Abdeckung - name: Rostock und UmgebungDatenbestand hat MinisteriumMinisterium - bezeichnung: Bundesministerium des Innern und für Heimat - kurzbezeichnung: BMI - ressorts: Hanse- und Universitätsstadt RostockDatenbestand hat BehördeBehoerde - bezeichnung: Hanse- und Universitätsstadt Rostock - kurzbezeichnung: Rostock - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung - ministerium_des_geschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern - ressort: KommunalaufsichtDatenbestand hat Gesetze:Gesetz - absatz: 3 - bezeichnung: Straßenverkehrs-Ordnung (StVO) - kurzbezeichnung: StVO - paragraph: § 29Datenbestand hat VerordnungVerordnung - referenz: https://www.buzer.de/StTbV.htm - bezeichnung: Straßenverkehr-Transportbegleitungsverordnung (StTbV) - kurzbezeichnung: StTbVVerordnung - referenz: https://www.buzer.de/StTbV.htm - bezeichnung: Straßenverkehrs-Zulassungs-Ordnung (StVZO) - kurzbezeichnung: StVZO
  Welche Datenbestände bieten Einblicke in die Standorte und Strukturen des THW für Koordinationszwecke im Katastrophenschutz?	Datenbestand - titel: Übersicht der THW-Liegenschaften - typ: Fachverfahren - kurzbeschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Adressen und Geoinformationen zu den Standorten des Technischen Hilfswerks (THW) in Deutschland. - allgemeine_beschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Informationen über die verschiedenen Standorte des Technischen Hilfswerks (THW) in Deutschland. Dazu gehören 668 Ortsverbände, 66 Geschäftsstellen, acht Landesverbände, eine Bundesschule mit zwei Standorten und die THW-Leitung. Die Daten enthalten Adressen und Geoinformationen zu den THW-Liegenschaften. - fachliche_beschreibung: Der Datensatz wird von der Bundesanstalt Technisches Hilfswerk erhoben und bereitgestellt. Das THW ist dem Bundesministerium des Innern, für Bau und Heimat unterstellt und hat als Aufgaben den Katastrophenschutz, technisch-humanitäre Hilfeleistungen und die Organisation von Einsatzkräften. Die Daten werden vom Referat Z2 - Organisation des THW geliefert und sind über das GovData Portal verfügbar. - zweck: Der Datensatz wird erhoben, um einen umfassenden Überblick über die Standorte und Strukturen des Technischen Hilfswerks in Deutschland zu bieten. Er dient der Transparenz und kann für Planungs- und Koordinationszwecke im Bereich des Katastrophenschutzes und der technisch-humanitären Hilfeleistungen genutzt werden. - einfuehrungsjahr: 2015 - zeitliche_abdeckung_start: 2015-01-01T00:00:00Datenbestand hat Datenlieferanten - name: Referat Z2 - Organisation - name: Bundesanstalt Technisches HilfswerkDatenbestand hat Schlagwort - name: THW-Landesverband - name: THW-Ortsverband - name: Rettung - name: Katastrophenschutz - name: Bergung - name: THW-Leitung - name: THW-Dienststellen - name: technisch-humanitäre Hilfeleistungen - name: THW-Liegenschaft - name: Geoinformationen - name: THW - name: THW-GeschäftsstelleDatenbestand hat MinisteriumMinisterium - bezeichnung: Bundesministerium des Innern und für Heimat - kurzbezeichnung: BMI - ressorts: Bundesanstalt Technisches Hilfswerk, Referat Z2 - OrganisationDatenbestand hat BehördeBehoerde - bezeichnung: Bundesanstalt Technisches Hilfswerk - kurzbezeichnung: THW - themen: Katastrophenschutz, technisch-humanitäre Hilfeleistungen, Organisation von Einsatzkräften - ministerium_des_geschaeftsbereichs: Bundesministerium des Innern, für Bau und Heimat - ressort: Geschäftsbereich des Bundesministeriums des Innern, für Bau und HeimatDatenbestand hat Gesetze:Gesetz - absatz: 1 - bezeichnung: Gesetz über das Technische Hilfswerk (THW-Gesetz) - kurzbezeichnung: THWG - paragraph: § 4Datenbestand hat VerordnungVerordnung - referenz: https://beck-online.beck.de/Normen/29337/T?pagenr=21&sortField=1&sortDirection=1 - bezeichnung: Technisches Hilfswerk-Auslandsunfallfürsorgeverordnung - kurzbezeichnung: THW-AuslUFVVerordnung - referenz: https://ov-ludwigsburg.thw.de/fileadmin/user_upload/LVBW/GSTU/OLUD/Mediathek/Dokumente/thw_go_ea_anlage_00.pdf - bezeichnung: Geschäftsordnung des Technischen Hilfswerks - kurzbezeichnung: THW-GO
  Welche Datensätze analysieren die Geschlechterverteilung von Schulabgängern ohne Abschluss in deutschen Kreisen von 2006 bis 2021?	Datenbestand - titel: Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen - typ: Fachverfahren - kurzbeschreibung: Prozentualer Anteil von Frauen und Männern an Schulabgängern ohne Hauptschulabschluss nach Kreisen - allgemeine_beschreibung: Der Datensatz enthält den prozentualen Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen in Deutschland. - fachliche_beschreibung: Der Datensatz wird vom Bundesministerium für Familie, Senioren, Frauen und Jugend bereitgestellt und enthält Informationen über den Anteil von Frauen und Männern an Schulabgängern ohne ersten Schulabschluss aus allgemeinbildenden Schulen in Deutschland. Die Daten werden nach Kreisen aufgeschlüsselt und dienen der Analyse der Bildungssituation in verschiedenen Regionen des Landes. - zweck: Der Datensatz wird erhoben, um die Geschlechterverteilung bei Schulabgängern ohne Hauptschulabschluss in verschiedenen Regionen Deutschlands zu analysieren und mögliche Maßnahmen zur Verbesserung der Bildungschancen zu entwickeln. - einfuehrungsjahr: 2023 - zeitliche_abdeckung_start: 2006-01-01 - zeitliche_abdeckung_ende: 2021-12-31Datenbestand hat Datenlieferanten - name: Bundesministerium für Familie - name: Frauen und Jugend - name: SeniorenDatenbestand hat Schlagwort - name: bildung - name: schulabbrecher - name: gleichstellung - name: schulabschluss - name: schuleDatenbestand hat Kategorie - name: Bevölkerung und GesellschaftDatenbestand hat politische Ebenen - name: Ebene der Landkreise und RegierungsbezirkeDatenbestand hat Sprache - name: DeutschDatenbestand hat geografische Abdeckung - name: Bundesrepublik Deutschland - name: aufgeschlüsselt nach KreisenDatenbestand hat MinisteriumMinisterium - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend - kurzbezeichnung: BMFSFJ - ressorts: Familie, Senioren, Frauen, JugendDatenbestand hat BehördeBehoerde - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend - kurzbezeichnung: BMFSFJ - ministerium_des_geschaeftsbereichs: Bundesministerium für Familie, Senioren, Frauen und Jugend - ressort: Bundesministerium für Familie, Senioren, Frauen und JugendDatenbestand hat Gesetze:Gesetz - bezeichnung: E-Government-GesetzDatenbestand hat VerordnungVerordnungVerordnung - referenz: https://recht.nrw.de/lmi/owa/br_vbl_detail_text?anw_nr=6&vd_id=20346&vd_back=N405&sg=0&menu=0 - bezeichnung: § 50 Schulgesetz NRW

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 1e-05
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.4.1+cu121
• Accelerate: 1.0.0
• Datasets: 3.0.1
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}