ReSB2-Bi-Encoder

SentenceTransformer model fine-tuned for retrieval of semantically related Brazilian legislative bills.

Model Details

Model Description

• Model Type: Sentence Transformer

• Maximum Sequence Length: 1500 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1500, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Dispõe sobre a estabilidade provisória do trabalhador vítima de acidente de trabalho que apresenta redução na capacidade laboral.\n\no congresso nacional decreta\n\nO Congresso Nacional decreta:\nArt. 1º  O art. 118 da Lei 8.213, de 24 de julho de 1991, \npassa a vigorar com a seguinte redação:\n¿Art. 118. ............................................................................\nParágrafo único. A estabilidade referida no ¿caput¿ vigorará \naté a aposentadoria por tempo de contribuição do segurado, na hipótese de este \napresentar redução ou restrição de sua capacidade laboral em razão do acidente \ndo trabalho, independentemente de percepção de auxilio-acidente¿.  \nArt. 2º  Esta lei entra em vigor na data de sua publicação.',
    'Acrescentar o art. 476-B ao Decreto-Lei nº 5.452, de 1º de maio de 1943, para garantir estabilidade ao empregado na cessação do seguro-doença ou auxílio enfermidade e dá outras providências.\n\no congresso nacional decreta\n\nO Congresso Nacional decreta: \n \n \n \nArt. 1º O Decreto-Lei nº 5.452, de 1º de maio de 1943, fica acrescido do \nseguinte Art. 476-B: \nArt. 476-B. Após a cessação do seguro-doença ou auxílio enfermidade, \nquando do retorno ao trabalho, o empregador deverá garantir ao empregado \no mesmo período que esteve afastado nestas situações, a título de \nestabilidade empregatícia. \n \nParágrafo único. Estende-se este direito à estabilidade preconizada, neste \nartigo, às situações previstas na Seção V deste diploma legal, que versa \nsobre a Proteção à Maternidade. \n \nArt. 2º Esta lei entra em vigor na data de sua publicação.',
    'Dispõe sobre a concessão de incentivos fiscais para as indústrias do setor de reciclagem e do setor metal mecânico.\n\no congresso nacional decreta\n\nO Congresso Nacional decreta: \n \n \n \nArt. 1o Fica concedido às empresas que se dediquem à \nreciclagem de vidro, plástico, papel, pneu e metal, os seguintes benefícios \nfiscais do Imposto sobre Produtos Industrializados ¿ IPI e do Imposto sobre a \n \nImportação - II: \n \nI ¿ crédito presumido correspondente ao valor da alíquota \ndo IPI incidente sobre operação promovida por estabelecimento industrial nas \nsaídas dos produtos reciclados; \n \nII ¿ diferimento do IPI e do II incidentes sobre as \nimportações de máquinas, equipamentos, peças, parte s e acessórios \ndestinados a integrar o ativo fixo das empresas, para o momento da alienação \nou eventual saída desses bens; \n \nIII ¿ diferimento do IPI sobre a aquisição, no mercado \ninterno, de máquinas, equipamentos, peças, partes, acessórios e materiais \ndestinados a integrar o ativo fixo das empresas, para o momento da alienação \nou eventual saída desses bens. \n \n§ 1º Nas aquisições internas de máquinas, equipamentos, \npeças, partes e acessórios destinados a integrar o ativo fixo das empresas, o\nCÂMARA DOS DEPUTADOS \n \n \n \nimposto será de responsabilidade do estabelecimento adquirente da \nmercadoria, na qualidade de contribuinte substituto, e recolhido no momento da \nalienação ou saída dos respectivos bens. \n \n \n \n \n§ 2º Nas operações internas de entrada de matérias-\nprimas, produtos intermediários e material de embalagem, o imposto será de \nresponsabilidade do estabelecimento adquirente do produto final, na qualidade \nde contribuinte substituto, e apurado de forma global no momento da venda \ndos produtos fabricados. \n \n§ 3º Os impostos incidentes sobre as importações de \nmatérias-primas, produtos intermediários e material de embalagem serão \napurados de forma global no momento da venda dos produtos fabricados. \n \n§ 4º Perderá o direito ao tratamento tributário previsto \nneste artigo, com a conseqüente restauração da sistemática normal de \napuração dos impostos e a imediata devolução aos cofres públicos, com os \nacréscimos legais devidos, de todos os valores não recolhidos, decorrentes do \nbenefício concedido, o contribuinte que, ao longo do gozo do benefício, \napresentar qualquer irregularidade com relação ao cumprimento das exigências \nprevistas no art. 5º desta lei. \n \n§ 5º Não será permitido às empresas beneficiadas o \naproveitamento de qualquer crédito relativo às operações de entrada de \nmercadorias, \nmatérias-primas, \nprodutos \nintermediários \ne \nmaterial \nde \nembalagem necessários às suas atividades. \n \nArt. 2º As empresas do setor metal mecânico terão \nreduzida as bases de cálculo do IPI e do II, na pro porção de 33,33% (trinta e \ntrês inteiros e trinta e três centésimos por cento) , nas operações de saídas \ninternas. \n \nArt. 3º Os benefícios estabelecidos nesta Lei não s e \naplicam ao contribuinte que: possua débito com o Instituto Nacional do Seguro \nSocial - INSS, ou com a Fazenda Pública Federal, cu ja exigibilidade não esteja \nsuspensa. \n \nArt. 4º Os incentivos fiscais previstos nesta Lei vigorarão\nCÂMARA DOS DEPUTADOS \n \n \n \naté o último dia útil do décimo ano subseqüente ao da data de sua publicação. \n \n \nArt. 5º Esta lei entra em vigor na data de sua publicação.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.8096,  0.0534],
#         [ 0.8096,  1.0000, -0.0377],
#         [ 0.0534, -0.0377,  1.0000]])

Evaluation

Metrics

Semantic Similarity

• Dataset: eval
• Evaluated with EmbeddingSimilarityEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 40,825 training samples
• Columns: text1 and text2
• Approximate statistics based on the first 1000 samples:

  	text1	text2
  type	string	string
  details	min: 79 tokensmean: 624.5 tokensmax: 1500 tokens	min: 81 tokensmean: 560.15 tokensmax: 1500 tokens

• Samples:

  text1	text2
  Cria o Programa Renda Básica Universalo congresso nacional decretaO CONGRESSO NACIONAL decreta: Art. 1º Fica criada a Renda Básica Universal, instrumento de garantia de renda aos cidadãos, como instrumento de garantias mínimas para a dignidade humana. Art. 2º Para fins de aplicação desta lei são considerados idosos em extrema vulnerabilidade que tenham: I- Entre 60 e 64 anos de idade; II- Que não possuam fonte de renda ou sua renda não ultrapasse a meio salario mínimo. Art. 3º Para fins de aplicação desta lei são considerados cidadãos em extrema vulnerabilidade as pessoas que: I- Tenham entre 30 e 59 anos de idade; II- Sua renda não ultrapasse meio salario mínimo por mês. Art. 4º Para fins de aplicação desta lei são considerados jovens vulneráveis as pessoas que: I- Tenham entre 15 e 29 anos de idade; II- A renda per capta familiar não ultrapasse um salário mínimo; Art. 5º Para fins de aplicação desta lei são consideradas crianças vul...	Fica instituído o programa de renda mínima para todos os brasileiros que tenham renda inferior ao valor do salário mínimo nacional e dá outras providenciaso congresso nacional decretaO CONGRESSO NACIONAL decreta:Art. 1° Todos os brasileiros em situação de extrema pobreza evulnerabilidade social receberão um auxilio deste programa no valor de um saláriomínimo mensal, independentemente de estar recebendo outro benefício social § 1º O atual Cadastro Único (CadUnico) servirá como base de dados parao pagamento da renda mínima nacional§ 2º São considerados brasileiros em situação de extrema pobreza:I-Não tenham fonte de renda;II-Renda igual ou inferior a meio salário mínimo;III-Renda per capta familiar que não ultrapasse um salário mínimo;Art. 3º As despesas decorrentes desta Lei deverão estar previstas noOrçamento da União anualmente. Art. 4° Esta lei entra em vigor na data de sua publicação.JUSTIFICTIVAO Brasil foi inserido novamente no mapa da fome, infeliz...
  Altera a Lei nº 9.503, de 23 de setembro de 1997, que institui o Código de Trânsito Brasileiro, para dispor sobre mensagem de advertência impressa na embalagem dos produtos de telefonia celular comercializados no País.o congresso nacional decretaO Congresso Nacional decreta:Art. 1º Esta lei acrescenta dispositivo ao Capítulo dasDisposições Gerais e Transitórias da Lei nº 9.503, de 23 de setembro de 1997,que institui o Código de Trânsito Brasileiro, para obrigar que a embalagem dosprodutos de telefonia celular comercializados no País contenha mensagem deadvertência acerca do risco de acidente de trânsito relacionado ao uso deaparelho celular ao volante de veículo automotor.Art. 2º A Lei nº 9.503, de 23 de setembro de 1997, queinstitui o Código de Trânsito Brasileiro, passa a vigorar acrescida do seguinteart. 315-A:“Art. 315-A. A embalagem dos produtos de telefoniacelular comercializados no País conterá a seguinte mensagem deadvertência: ‘Importante: Utilizar o telefone c...	Inclua-se o art. 79-A na Lei nº 9.503, de 23 de setembro de 1997, no sentido de estabelecer campanha contra o uso do celular ao dirigir.o congresso nacional decretaO Congresso Nacional decreta: Art. 1º Esta Lei acrescenta o art. 79-A na Lei nº 9.503, de 23 de setembro de 1997, Código de Trânsito Brasileiro - CBT, no sentido de estabelecer campanha contra o uso do celular ao dirigir. Art. 2º Inclua-se o art. 79-A na Lei nº 9.503, de 23 de setembro de 1997, com a seguinte redação: ¿Art. 79-A Os órgãos e entidades executivos de trânsito da União, dos Estados, do Distrito Federal e dos Municípios deverão firmar convênio com as operadoras móveis de telecomunicações em operação no Brasil com o intuito de divulgar campanhas via mensagens curtas de texto ou outros serviços ou funcionalidades de mensagens eletrônicas, informando o número de acidentes automobilísticos, com ou sem vítimas fatais, comprovadamente provocados pelo uso do celular ao volante. § 1º As me...
  Altera a redação do Código Penal (Decreto-Lei nº 2.848, de 7 de dezembro de 1940) e da Lei de Execuções Penais (Lei 7.210 de 11 de julho de 1984), dispondo sobre o regime de cumprimento de pena, dentre outras providências.o congresso nacional decretaO Congresso Nacional decreta: Art. 1º Esta lei estabelece o regime fechado e o aberto para cumprimento da pena privativa de liberdade, bem como altera as condições do livramento condicional e do cumprimento de pena no regime aberto. Art. 2º O art. 33 do Decreto-Lei nº 2.848, de 7 de dezembro de 1940 (Código Penal), passa a vigorar com a seguinte redação: ¿Art. 33. A pena de reclusão deve ser cumprida em regime fechado ou aberto. A de detenção, em regime aberto, salvo necessidade de transferência a regime fechado. § 1º ...................................................................................... ............................................................................................. c) regime aberto a execução ...	Altera o Decreto-Lei nº 2.848, de 1940.o congresso nacional decretaO Congresso Nacional decreta: Art. 1º Esta Lei altera o Decreto-Lei nº 2.848, de 1940. Art. 2º Os incisos I, II e V do art. 83 do Decreto-Lei nº 2.848, de 1940, passam a vigorar com a seguinte redação: ¿Art. 83 - O juiz poderá conceder livramento condicional ao condenado a pena privativa de liberdade igual ou superior a 2 (dois) anos, desde que: I - cumprida mais da metade da pena se o condenado não for reincidente em crime doloso e tiver bons antecedentes; II - cumpridos mais de dois terços da pena se o condenado for reincidente em crime doloso; ...................................................................................... V - cumpridos mais de quatro quintos da pena, nos casos de condenação por crime hediondo, prática de tortura, tráfico ilícito de entorpecentes e drogas afins, tráfico de pessoas e terrorismo, se o apenado não for reincidente específico em crimes dessa ...

• Loss: MultipleNegativesSymmetricRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• learning_rate: 2e-05
• weight_decay: 0.01
• warmup_ratio: 0.1
• seed: 148937
• data_seed: 148937
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 148937
• data_seed: 148937
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.9.21
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.8.0+cu128
• Accelerate: 1.4.0
• Datasets: 3.3.1
• Tokenizers: 0.22.0

Citation

If you use this model, please cite:

@inproceedings{lage2026resb2,
  title={ReSB²: Machine-Assisted Linking of Legislative Bills using Domain-Adapted ModernBERT and Explainable AI},
  author={Lage, Lucas Gabriel and others},
  booktitle={Proceedings of the ACM Conference on Hypertext and Social Media},
  year={2026}
}

License

The models developed and released in this repository, including the trained ReSB² models, are provided for research and academic purposes.

The use of the underlying pre-trained models is subject to the licenses and terms of use defined by their original providers. Users are responsible for complying with the respective licenses when using, modifying, or redistributing these models.

Acknowledgments

This work was supported by the Legislative Assembly of Minas Gerais (ALMG), CNPq, CAPES, and FAPEMIG.