SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: vivienda y desarrollo urbano alameda peatonal en San Antonio',
    'passage: CREACION DE ALAMEDA PEATONAL LA PAZ EN EL  DISTRITO DE SAN ANTONIO - PROVINCIA DE SAN MARTIN - DEPARTAMENTO DE SAN MARTIN distrito de San Antonio, provincia de San Martin. Funcion vivienda y desarrollo urbano. Estado cerrado. Situacion viable. Tipo proyecto de inversion. Marco invierte.',
    'passage: CREACION DEL SERVICIO DE TRÁNSITO PEATONAL INTERURBANO O RURAL EN APERTURA DE VÍA DEL CAMINO VECINAL SM 889: EMP. SM 889 (ATAHUALPA) ¿ EL EDEN ¿ MONTERREY ¿ BELLO HORIZONTE ¿ SANAMBO ¿ CRUCE MARISOL CON NUEVO CHIMBOTE, DEL   DISTRITO DE PACHIZA DE LA PROVINCIA DE MARISCAL CACERES DEL DEPARTAMENTO DE SAN MARTIN distrito de Pachiza, provincia de Mariscal Caceres. Funcion transporte. Estado cerrado. Situacion viable. Tipo proyecto de inversion. Marco invierte.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7849, 0.2698],
#         [0.7849, 1.0000, 0.3764],
#         [0.2698, 0.3764, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,241 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  modality	text	text	text
  details	min: 8 tokensmean: 14.55 tokensmax: 24 tokens	min: 66 tokensmean: 95.04 tokensmax: 132 tokens	min: 61 tokensmean: 109.87 tokensmax: 186 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  query: colegios educación secundaria en El Eslabon	passage: MEJORAMIENTO DEL SERVICIO DE EDUCACIÓN SECUNDARIA DE LA INSTITUCIÓN EDUCATIVA N 0751 JAIME HORACIO ROJAS CHÁVEZ DE LA LOCALIDAD DE EL ESLABON DEL DISTRITO DE EL ESLABON - PROVINCIA DE HUALLAGA - DEPARTAMENTO DE SAN MARTIN distrito de El Eslabon, provincia de Huallaga. Funcion educación. Estado activo. Situacion viable. Tipo proyecto de inversion. Marco invierte.	passage: CONSTRUCCION DE LOSA DEPORTIVA; EN EL(LA) I.E. 0105 EN LA LOCALIDAD LA COLLPA, DISTRITO DE EL ESLABON, PROVINCIA HUALLAGA, DEPARTAMENTO SAN MARTIN distrito de El Eslabon, provincia de Huallaga. Funcion educación. Estado activo. Situacion aprobado. Tipo ioarr. Marco invierte.
  query: vivienda y desarrollo urbano ovalo interseccion en Papaplaya	passage: INSTALACION DE OVALO EN INTERSECCION DEL JR. HUALLAGA Y 20 DE ENERO EN LA LOCALIDAD DE PAPAPLAYA, DISTRITO DE PAPAPLAYA - SAN MARTIN - SAN MARTIN distrito de Papaplaya, provincia de San Martin. Funcion vivienda y desarrollo urbano. Estado activo. Situacion viable. Tipo proyecto de inversion. Marco snip.	passage: CONSTRUCCION DE AMBIENTE DE USOS MULTIPLES; EN EL(LA) LOCALIDAD DE REFORMA, DISTRITO DE PAPAPLAYA, PROVINCIA SAN MARTIN, DEPARTAMENTO SAN MARTIN distrito de Papaplaya, provincia de San Martin. Funcion planeamiento, gestión y reserva de contingencia. Estado activo. Situacion aprobado. Tipo ioarr. Marco invierte.
  query: planeamiento, gestión y reserva de contingencia apoyo desarrollo	passage: MEJORAMIENTO DEL SERVICIO DE APOYO AL DESARROLLO PRODUCTIVO DE LA CADENA DE VALOR DE MAÍZ AMARILLO DURO, A PRODUCTORES DE 5 PROVINCIAS DEL DEPARTAMENTO DE SAN MARTIN Funcion planeamiento, gestión y reserva de contingencia. Estado activo. Situacion viable. Tipo proyecto de inversion. Marco invierte.	passage: MEJORAMIENTO DEL SERVICIO DE APOYO A LA ADOPCIÓN DE TECNOLOGÍAS EN EL CULTIVO DE TRUCHA, A ACUICULTORES DE LAS PROVINCIAS DE RIOJA, LAMAS Y TOCACHE DEL DEPARTAMENTO DE SAN MARTIN Funcion planeamiento, gestión y reserva de contingencia. Estado activo. Situacion viable. Tipo proyecto de inversion. Marco invierte.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 1
• per_device_eval_batch_size: 32
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 32
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Time

• Training: 1.3 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.12.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}