SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2")
# Run inference
sentences = [
    '¿Qué compromisos ambientales voluntarios ha adquirido el titular del proyecto "Depósito de Relaves Filtrados Doña Rosa"?',
    'Ordinario N° 57 de fecha 25 de Enero de 2011 \ninformó favorablemente.  \n5.  Que, en lo relativo a los efectos, características y circunstancias señalados en los literales “a”,  "b", “c”, \n“d”, “e” y “f”, del artículo 11 de la Ley 19.300, y sobre la base de los antecedentes que constan en el \nexpediente de la evaluación, debe indicarse que el proyecto "Depósito de Relaves Filtrados Doña Rosa” \nno genera ni presenta ninguno de tales efectos, características y circunstancias.  \n6.-    Que, en el proceso de evolución de proyecto " Depósito de Relaves Filtrados Doña Rosa”, el titular \nha adquirido los siguientes compromisos ambientales voluntarios:  \nEl proyecto contempla el monitoreo de aguas superficiales y subterráneas. Respecto a la periodicidad de \nmonitoreo, este será cuatrimestral durante los tres primeros años de operación del proyecto. Una vez \ncumplidos los tres años iniciales, se analizarán los resultados. Sobre la base de dicho análisis el titular \npropondrá fundadamente cambios a los parámetros, puntos y frecuencias de monitoreo, si es que los \nresultados así lo ameritan.  \nEn la siguiente tabla se presentan las coordenadas de los puntos de control de calidad de aguas, tanto \nsuperficiales como subterráneas.',
    '1). \n4.2 Del Proyecto de Depósito de Relaves \n4.2.1 Definición \n\x7f Cierre: Hecho que el depósito de relaves deje de operar por un plazo mayor de dos años o en forma \ndefinitiva o cuando se da por terminada su  vida útil y se han efectuado las acciones tendientes a \nasegurar la obra en el tiempo.  \n\x7f Proyecto de Depósitos de Relaves: el conjunto de estudios técnicos requeridos para la definición de \nun sistema de disposición de relaves, incluyendo etapas de investigación, prospección, diseño, \nevaluación y construcción, cuyos resultados se encuentran en una serie de documentos que para \ngarantizar la estabilidad física y química del depósito y su entorno, con el fin de proteger a las \npersonas, bienes y medio ambiente. (Art. 5). \n\x7f Cierre  final:  Conclusión  definitiva  de  las  actividades  para  el  cierre  de  todas  las labores, áreas \ne instalaciones de una unidad minera, que por razones operativas, no hayan podido cerrarse \ndurante la etapa productiva o comercial, de modo tal que se garantice  el  cumplimiento  de  los  \nobjetivos  de  cierre  contemplados  en  el  Plan  de Cierre  de  Minas  aprobado  y  cuya  adecuada  \nejecución  ha  sido  verificada  a  través de  una  auditoría  integral  dispuesta  por  la  autoridad  \ncompetente,  sin  perjuicio  de las actividades de post cierre que deberán continuar ejecutándose en \nel marco de la legislación ambiental vigente.  \n\x7f Estabilidad física: Comportamiento estable en el corto, mediano y largo plazo de los componentes o',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 1,628 training samples
• Columns: query, sentence, and label
• Approximate statistics based on the first 1000 samples:

  	query	sentence	label
  type	string	string	int
  details	min: 9 tokensmean: 25.12 tokensmax: 69 tokens	min: 44 tokensmean: 232.21 tokensmax: 256 tokens	0: ~59.80%1: ~40.20%

• Samples:

  query	sentence	label
  ¿Cuál es el volumen máximo estimado de aguas servidas generadas por el personal durante la etapa de construcción del proyecto?	3.11.5.2. Efluentes Líquidos Etapa de Construcción La única generación de residuos líquidos, corresponderá a las aguas servidas generadas por el personal que trabajará en la etapa de construcción del proyecto, con un volumen máximo estimado de 6,0 m3/día. El personal de construcción se alojará en las instalaciones existentes en la faena de SCMET. Por lo que utilizará los servicios sanitarios que se encuentran en operación en el campamento de SCMET. Durante la jornada de trabajo en terreno, los trabajadores utilizarán los servicios higiénicos de la sala de cambio existente, ubicada en las inmediaciones del portal Doña Rosa. En atención a lo anterior, no se requerirá de la construcción de nuevas instalaciones sanitarias adicionales a las ya existentes en la faena. Etapa de Operación Dadas las características del proceso productivo, no se descargarán residuos industriales líquidos durante esta etapa. Toda el agua resultante del proceso de filtrado del relave será recircul...	1
  ¿Dónde no deben ser depositados los materiales de baja calidad para evitar problemas de inestabilidad?	Esto podría incluir material afectado por Steam Heated o suelos asociados a depósitos cuaternarios. Para evitar problemas de inestabilidad, estos materiales de baja calidad no deben ser depositados : ni al pie del botadero Sur; ni al fondo de la cuenca en donde se emplazará el botadero Sur (donde hay mayor espesor de materiales aluviales y piroclásticos); ni bajo el área donde estará emplazado el depósito de relaves filtrados.	1
  ¿Cuál es la altura máxima del botadero Cachinalito?	25 Las características geométricas de los botaderos existentes se presentan se indican en la T abla 18 y corresponden a las características finales de construcción del botadero. En general , su crecimiento se realizará alcanzando rápidamente su cota final de coronamiento y luego se avanzará frontalmente con una plataforma pareja, hasta lograr la geometría final indicada. Tabla 18. Características Geométricas de Botaderos existentes Botadero Parámetros Altura Máxima Longitud Media Ancho Medio Angulo de Talud (m) (m) (m) (°) 1 57 440 270 34 2 55 390 360 34 3 58 420 330 26 4 96 230 160 34 5 110 340 200 36 6 66 240 165 37 7 44 550 435 40 Las características geométricas del botadero Cachinalito se presenta a continuación: Tabla 19. Característica Geométricas Botadero Cachinalito Parámetros Botadero Elevación (msnm) Altura Máxima (m) Longitud Media (m) Ancho Medio (m) Inclinación Talud (H:V) Volumen Final (m3) Cachinalitoa 2710 25 270 1...	1

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}