Multilingual E5 Large trained with triplet loss

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large on the csv dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • csv
• Language: multilingual
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-cat")
# Run inference
sentences = [
    "query: Tub de PVC de 230 mm de diàmetre nominal de formació helicoïdal amb perfil rígid nervat exteriorment, per anar formigonat, unió elàstica amb massilla adhesiva de poliuretà i col·locat al fons de la rasa, en entorn urbà sense dificultat de mobilitat, en voreres > 5 m d'amplària o calçada/plataforma única > 12 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions d'1 a 10 m",
    "passage: Tub de PVC de 230 mm de diàmetre nominal amb disseny helicoïdal i perfil rígid reforçat a l'exterior, destinat a ser formigonat, amb connexió elàstica mitjançant massilla adhesiva de poliuretà, instal·lat al fons de la rasa en un entorn urbà amb bona accessibilitat, en voreres de més de 5 m d'amplada o calçades/plataformes úniques de més de 12 m d'amplada, sense interferències amb serveis o elements de mobiliari urbà, en projectes d'entre 1 i 10 m.",
    "passage: Tub de PVC de 250 mm de diàmetre nominal de formació cilíndrica amb perfil flexible llis interiorment, per instal·lar en superfície, unió rígida amb cargols metàl·lics i col·locat a la part superior del sòl, en entorn rural amb dificultats de mobilitat, en camins < 3 m d'amplària o carreteres de doble sentit < 8 m d'amplària, amb afectació per serveis o elements de paisatgisme, en actuacions de 5 a 15 m.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: validation-set
• Evaluated with TripletEvaluator

Triplet

• Dataset: test-set
• Evaluated with TripletEvaluator

Training Details

Training Dataset

csv

• Dataset: csv
• Size: 5,295 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokensmean: 112.92 tokensmax: 316 tokens	min: 21 tokensmean: 111.39 tokensmax: 304 tokens	min: 19 tokensmean: 104.94 tokensmax: 309 tokens

• Samples:

  anchor	positive	negative
  query: Revestiment vertical amb perfil ondulat de planxa d'alumini anoditzat i lacat, a 3,00 m d'alçària, com a màxim, amb ones cada 120 mm, de 30 mm d'alçària i 1 mm de gruix, amb una inèrcia entre 12,5 i 13 cm4 i una massa superficial entre 3 i 3,5 kg/m2, acabat perforat amb un coeficient de perforació de l'11% color especial, col·locat amb fixacions mecàniques	passage: Revestiment vertical amb panells ondulats d'alumini anoditzat i pintat, a una alçada màxima de 3,00 m, amb ones de 120 mm de separació, 30 mm d'alçària i 1 mm de gruix, amb una inèrcia d'entre 12,5 i 13 cm4 i una massa superficial de 3 a 3,5 kg/m2, acabat amb perforacions que tenen un coeficient de perforació del 11% en un color especial, instal·lat amb fixacions mecàniques.	passage: Revestiment vertical amb panells llisos de planxa d'acer galvanitzat, a 2,50 m d'alçària, amb un acabat llis de 1,5 mm de gruix, amb una inèrcia entre 10 i 11 cm4 i una massa superficial entre 4 i 4,5 kg/m2, acabat pintat amb un color estàndard, col·locat amb adhesius.
  query: Canal d'acer galvanitzat de tipus reixa amb pendent, sortida lliure, horitzontal, d'1,5 mm de gruix, de <= 100 mm d'amplària, de 100 a 200 mm d'alçària, per a una càrrega classe M 125, col.locada, en entorn urbà sense dificultat de mobilitat, en voreres > 5 m d'amplària o calçada/plataforma única > 12 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de més de 5 u	passage: Canal de metall galvanitzat de tipus reixa amb inclinació, sortida lliure, horitzontal, de 1,5 mm de gruix, amb amplada de fins a 100 mm i alçària entre 100 i 200 mm, dissenyat per suportar càrregues de classe M 125, instal·lat en zones urbanes amb bona accessibilitat, en voreres de més de 5 m d'amplada o calçades/plataformes úniques de més de 12 m d'amplada, sense interferències amb serveis o elements de mobiliari urbà, en projectes de més de 5 unitats.	passage: Canal de plàstic reforçat de tipus tubular amb pendent, sortida controlada, vertical, de 2 mm de gruix, de <= 150 mm d'amplària, de 200 a 300 mm d'alçària, per a una càrrega classe L 150, instal·lada, en entorn rural amb dificultat de mobilitat, en camins < 3 m d'amplària o carretera secundària < 10 m d'amplària, amb afectació per serveis o elements de mobiliari rural, en actuacions de menys de 3 u.
  query: Formigonament de sostre nervat reticular amb formigó per armar, amb 20% de granulats de material reciclat de formigons, amb additiu hidròfug HRA - 25 / F / 20 / XC2 amb una quantitat de ciment de 275 kg/m3 i relació aigua ciment =< 0.6, abocat amb cubilot	passage: Formigonament de sostre reticular nervat amb formigó armat, incorporant un 20% de granulats reciclats de formigó, utilitzant un additiu hidrofug HRA - 25 / F / 20 / XC2, amb una dosi de ciment de 275 kg/m3 i una relació aigua-ciment ≤ 0.6, realitzat mitjançant cubilot.	passage: Formigonament de sostre pla amb formigó convencional, amb 30% de granulats naturals, sense additius especials, amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.5, abocat amb bomba de formigó.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "TripletLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

csv

• Dataset: csv
• Size: 5,295 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 34 tokensmean: 113.71 tokensmax: 312 tokens	min: 34 tokensmean: 111.57 tokensmax: 298 tokens	min: 34 tokensmean: 104.4 tokensmax: 300 tokens

• Samples:

  anchor	positive	negative
  query: Interruptor de tipus modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i làmpada pilot, preu mitjà, encastat, amb marc amb bastidor per a l'adaptació de mecanismes modulars a caixa rectangular de 2 mòduls de preu mitjà, tub flexible corrugat de PVC folrat exteriorment, caixa de derivació rectangular i conductor de coure de designació H07V-U	passage: Interruptor modular de 2 mòduls estrets, bipolar (2P), 16 A/250 V, amb tecla i llum indicadora, preu mitjà, instal·lat en superfície, amb marc per adaptar mecanismes modulars a una caixa rectangular de 2 mòduls de preu mitjà, tub flexible de PVC corrugat, caixa de connexions rectangular i cable de coure H07V-U.	passage: Interruptor de tipus estàndard de 3 mòduls amplis, unipolar (1P), 10 A/230 V, sense tecla ni làmpada pilot, preu elevat, superficial, amb marc per a la instal·lació de mecanismes estàndard a caixa quadrada de 3 mòduls de preu elevat, tub rígid de PVC, caixa de connexió quadrada i conductor de coure de designació H05V-U.
  query: Tanca de vímet de qualitat extra nacional, de 100 cm d'alçària, col·locada amb grapes sobre tanca existent accessible des del terra, en entorn urbà amb dificultat de mobilitat, en voreres > 3 i <= 5 m d'amplària o calçada/plataforma única > 7 i <= 12 m d'amplària, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'1 a 10 m	passage: Tanca de vímet de primera qualitat nacional, de 100 cm d'alçada, instal·lada amb grapes sobre una tanca ja existent accessible des del sòl, en un entorn urbà amb dificultats de mobilitat, en voreres d'entre 3 i 5 m d'amplada o calçada/plataforma única d'entre 7 i 12 m d'amplada, amb afectació per serveis o elements de mobiliari urbà, en actuacions d'entre 1 i 10 m.	passage: Tanca de vímet de qualitat estàndard local, de 80 cm d'alçària, instal·lada amb cargols sobre tanca nova accessible des de la carretera, en entorn rural sense dificultat de mobilitat, en voreres > 2 i <= 4 m d'amplària o calçada/plataforma única > 5 i <= 10 m d'amplària, sense afectació per serveis o elements de mobiliari urbà, en actuacions de 5 a 15 m.
  query: Formigonament per a enceps, amb formigó per armar HA - 35 / F / 10 / XC4 + XS1 amb una quantitat de ciment de 350 kg/m3 i relació aigua ciment =< 0.5, abocat des de camió en obres d'edificació	passage: Formigonament per a fonaments, utilitzant formigó HA - 35 / F / 10 / XC4 + XS1 amb una dosi de ciment de 350 kg/m3 i una relació aigua-ciment ≤ 0.5, abocat directament des de camió en projectes de construcció.	passage: Formigonament per a fonaments, amb formigó per armar HA - 30 / F / 8 / XC3 + XS2 amb una quantitat de ciment de 300 kg/m3 i relació aigua ciment =< 0.6, abocat manualment en obres de rehabilitació.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "TripletLoss",
      "matryoshka_dims": [
          1024,
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 2e-05
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.2.0
• Transformers: 4.44.2
• PyTorch: 2.4.1+cu121
• Accelerate: 0.34.2
• Datasets: 3.0.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}