BGE large Legal Spanish Spa Law QA

This is a sentence-transformers model finetuned from littlejohn-ai/bge-m3-spa-law-qa on the boe_sintetic_question_context dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: littlejohn-ai/bge-m3-spa-law-qa
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • boe_sintetic_question_context
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("pablosi/bge-m3-spa-law-qa-trained")
# Run inference
sentences = [
    '¿Cuál es la disposición que se refiere a la hora de cierre de los establecimientos públicos en días laborables según el artículo 1.°?',
    'n de las adscripciones o representaciones a que\nse refieren distintos apartados del artículo 11,2 del citado De\xad\n\n#### Art. 2:° Los sábados y vísperas de días festivos, los espec- creto orgánico del Consejo Nacional de Educación, táculos podrán terminar y los establecimientos públicos podrán Este Ministerio, haciendo uso de las atribuciones que le con\xad cerrar media hora más tarde de la que se determina en el fiere la disposición final segunda del citado Decreto orgánico, artículo l.° y de conformidad con el dictamen de la Asesoría Jurídica del\n Departamento, ha tenido a bien disponer lo siguiente:\n Art. 3.° La hora de cierre de los frontones podrá prorrogar\xad\nse excepcionalmente, en caso de empate de los partidos, hasta Primero.—Lo dispuesto en el artículo 14 del Decreto 2763/1971,\n\nde 21 de octubre, que organizó el Consejo Nacional de Educa\xad\n\n#### que sea necesaria, siempre que éstos hubieran comenzado a la hora establecida. ción, respecto de los Consejeros que lo fueran por razón de su\n cargo, debe entenderse no sólo respecto de los Consejeros natos,\n Art. 4.° Los bares interiores de los hoteles podrán retrasar sino también de los Consejeros designados por este Ministerio, su hora',
    'o corrientes** 0330 ........................\n\n**TOTAL ACTIVO (A+B)** 0340 ........................\n\n**PASIVO Y PATRIMONIO NETO**\n\n\n**A) PASIVO CORRIENTE** 0350 ........................\n\n**I. Periodificaciones** 0360 ........................\n**II. Acreedores y cuentas a pagar** 0370 ........................\n**III. Deudas con empresas del grupo y asociadas a corto plazo** 0380 ........................\n**IV. Deudas a corto plazo** 0390 ........................\n**V. Provisiones a corto plazo** 0400 ........................\n**VI. Otros pasivos corrientes** 0410 ........................\n\n**B) PASIVO NO CORRIENTE** 0420 ........................\n\n**I. Periodificaciones** 0430 ........................\n**II. Pasivos por impuesto diferido** 0440 ........................\n**III. Deudas con empresas del grupo y asociadas a largo plazo** 0450 ........................\n**IV. Deudas a largo plazo** 0460 ........................\n**V. Provisiones a largo plazo** 0470 ........................\n**VI. Otros pasivos no corrientes** 0480 ........................\n**TOTAL PASIVO (A+B)** 0490 ........................\n\n**C) PATRIMONIO NETO** 0500 ........................\n\n**C-1) FONDOS REEMBOLSABLES** 0510 ....',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_1024 and dim_768
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

boe_sintetic_question_context

• Dataset: boe_sintetic_question_context at 2391ba7
• Size: 5,036 training samples
• Columns: question and context
• Approximate statistics based on the first 1000 samples:

  	question	context
  type	string	string
  details	min: 3 tokensmean: 26.99 tokensmax: 66 tokens	min: 2 tokensmean: 279.97 tokensmax: 964 tokens

• Samples:

  question	context
  ¿Cuáles son las funciones que corresponden a la Vicesecretaría General Técnica en relación con el régimen interior y económico?	Explotación###### Artículo octavo y de Señales Marítimas.A la Vicesecretaría General Técnica corresponden las funcio~nes relativas al régimen interior y económico, información, Artículo decimosextoiniciativas, derecho de petición, archivo, biblioteca, documen-La Dirección General de Transportes Terrestres estará. inte-tación, relaciones internacionales y demás que le encomiendegrada por las siguientes unidades:el Secretario general Técnico. - Subdirección General de Planificación y Obras.###### Articulo noveno - Subdirección General de Explotación.La Subdirección General de Programación Económica. tendrá Artículo decimoséptimoa. su 'cargo la realización de estudios económicos, elaboraciónde las estadisticas del Departamento, estudios y proyectos de A la Subdirección General de Planificación y Obras le, correS'"financiación e informes sobre inversiones y realizaciones del ponderá el examen de anteproye...
  ¿Qué tipo de documentación oficial deben exhibir los funcionarios y agentes de las administraciones comunes del país limitrofe para acreditar su nacionalidad, identidad, calidad y naturaleza de sus funciones?	ones conı­neD!"'.! . bajo lOS :ıuspicios de la Comisi6n econ6mic:ı Europea petent,sdel pais limitrofe deberiıı llevar el uniforme ıiacionalcon el fin. de !'acilitar el paso de ıa. fronteras a l:l.'i memıncias o el signo discintivo prescl'ito por los reglamentos de dicho pais.transportadas POl' via .fcrrea. 3. 10s funcionarios y agentes de las administraciones com-aeuerdan 10 siguiente': petentes del pais limitrofe que tengaıı que dirigirse a La esıa­cl6n p:mi la reallzacl6n de la.> ln,pecciones previstas POl' ci pre-TITULOI sente Convenio queoar:ın dispensados de las formalidades depasaportes. La exhibici6n de su documentaci6n cficial ser:i. su-CreQ~on y regiınen de cstadorıt's de jronterQ con inspectiones ficiente para acreditar su nacionalidad. su jdenıidad. su ca.lidadnC!dr...~a.!rz ;:u.:::ta-p--.ıcsta:; y la naturaleza de sus funcia:ıes.4. LCIlI lunciona.rios )' agent.>s mencıonad05 en 105 parra-Artıculo primero fas 2 y 3 de! presente articulo recibiri...
  ¿Cuál es el período máximo de vinculación provisional o a prueba que pueden establecer los estatutos de una sociedad cooperativa de segundo grado?	ría en los estatutos, que también podrá regular un período de vinculaciónprovisional o a prueba de hasta dos años.3. El socio persona jurídica que pretenda darse de baja habrá de cursar un preavisode al menos un año. Trascurrido el periodo de preaviso y antes de su efectiva separaciónestará obligado a cumplir las obligaciones contraídas con la sociedad cooperativa desegundo grado o a resarcirla económicamente, si así lo decide el consejo rector de esta.Asimismo, salvo previsión estatutaria en contra, la entidad separada deberá continuardesarrollando, durante un plazo no inferior a dos años, aquellos compromisos adquiridosque hubiera asumido con anterioridad a la fecha de la baja.Artículo 132. Régimen económico.Las aportaciones obligatorias al capital social de una sociedad cooperativa desegundo grado se realizarán en función de la actividad cooperativizada comprometidacon aquella por cada socio.Artículo 133. Órganos sociales.1. La asamblea general estará formada po...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

boe_sintetic_question_context

• Dataset: boe_sintetic_question_context at 2391ba7
• Size: 5,036 evaluation samples
• Columns: question and context
• Approximate statistics based on the first 1000 samples:

  	question	context
  type	string	string
  details	min: 4 tokensmean: 27.32 tokensmax: 64 tokens	min: 20 tokensmean: 269.89 tokensmax: 787 tokens

• Samples:

  question	context
  ¿Qué tipo de productos están excluidos de la aplicación del Real Decreto 1801/2003, de 26 de diciembre, sobre seguridad general de los productos?	1801/2003, de 26de diciembre, sobre seguridad general de los productos,para aquellos productos afectados por este real decreto, aexcepción de los productos de renovación del acabado devehículos.b) Las previstas en la Ley 21/1992, de 16 de julio, deIndustria, para los productos de renovación del acabadode vehículos afectados por este real decreto.2. Los productos objeto de este real decreto seránconsiderados seguros cuando cumplan, además de losrequisitos que les sean exigibles por la legislación vigente,lo dispuesto en este real decreto.Artículo 6. Información al Ministerio de MedioAmbiente.Las comunidades autónomas remitirán al Ministerio deMedio Ambiente un informe que contenga los resultadosde las medidas del programa de control al que se refiere elartículo 5 y una relación de las categorías y cantidades deproducto para cuya compraventa hayan concedido permisos, según lo dispuesto en la disposición adicionalsegunda, a efectos de su comunicación a l...
  ¿En qué artículo de la Constitución se basa el Estado para dictar la legislación procesal mencionada en el texto?	tencia estatal.Esta Ley Orgánica se dicta en ejercicio de las competencias atribuidas al Estado en materia de legislaciónprocesal por el artículo 149.1.6.ª de la Constitución.Disposición final segunda. Entrada en vigor.La presente Ley Orgánica entrará en vigor el díasiguiente al de su publicación en el «Boletín Oficial delEstado».Por tanto,Mando a todos los españoles, particulares y autoridades, que guarden y hagan guardar esta Ley Orgánica.Madrid, 5 de junio de 2006.JUAN CARLOS R.El Presidente del Gobierno,JOSÉ LUIS RODRÍGUEZ ZAPATERO### 9958 LEY 17/2006, de 5 de junio, de la radio y la tele_visión de titularidad estatal.JUAN CARLOS IREY DE ESPAÑAA todos los que la presente vieren y entendieren.Sabed: Que las Cortes Generales han aprobado y Yovengo en sancionar la siguiente Ley.EXPOSICIÓN DE MOTIVOSLa Constitución en su artículo 20 garantiza valores depluralismo, veracidad y accesibilidad con el fin de contribuir a la formación de una opinión pú...
  ¿Cuál es el propósito principal de la Comisión Mixta establecida en el Artículo 30?	Organismos de Enlace de ambas Partes intercambiarán los datos estadísticos relativos a los pagos deprestaciones efectuados a los beneficiarios de una Parteque residan en el territorio de la otra Parte. Dichos datoscontendrán el número de beneficiarios y el importe totalde las prestaciones abonadas durante cada año civil.2. Las Autoridades y los Organismos de Enlace deambas Partes estarán obligados a facilitar, cuando lessean requeridos por la otra Parte, toda la información ydatos sobre los sistemas de cálculo de los costes de lasprestaciones sanitarias.Artículo 30. Comisión Mixta.Con el fin de resolver cuantos problemas puedan surgir en aplicación del Convenio y el presente AcuerdoAdministrativo, así como para el seguimiento de los mismos, las Autoridades Competentes de ambas Partespodrán reunirse en Comisión Mixta, asistidas por representantes de sus respectivas Instituciones Competentes.Artículo 31. Pago de prestaciones.Las prestaciones que, conforme a la leg...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          768
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 8
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• optim: adamw_torch_fused
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 8
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.3.0
• Transformers: 4.46.2
• PyTorch: 2.2.2
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}