SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Quy định về 13.NĐ.96.23. Hiệu lực thi hành là gì?',
    'Chủ đề: Trật tự, an toàn xã hội\nĐề mục: Xử lý vi phạm hành chính\nChương: Chương II - CÁC BIỆN PHÁP THAY THẾ XỬ LÝ VI PHẠM HÀNH CHÍNH ĐỐI VỚI NGƯỜI CHƯA THÀNH NIÊN - Phần sáu - ĐIỀU KHOẢN THI HÀNH\nĐiều: Điều 39.13.NĐ.96.23. Hiệu lực thi hành\nNguồn: (Điều 23 Nghị định số 135/2021/NĐ-CP, có hiệu lực thi hành kể từ ngày 01/01/2022)\nNội dung:\n1. Nghị định này có hiệu lực từ ngày 01 tháng 01 năm 2022. 2. Bãi bỏ Nghị định số 165/2013/NĐ-CP ngày 12 tháng 11 năm 2013 của Chính phủ quy định việc quản lý, sử dụng và danh mục phương tiện, thiết bị kỹ thuật nghiệp vụ được sử dụng để phát hiện vi phạm hành chính về trật tự, an toàn giao thông và bảo vệ môi trường.',
    'Chủ đề: Tài nguyên\nĐề mục: Khí tượng thủy văn\nChương: Chương III - DỰ BÁO, CẢNH BÁO KHÍ TƯỢNG THUỶ VĂN\nĐiều: Điều 27.2.TT.21.4. Nội dung dự báo, cảnh báo áp thấp nhiệt đới, bão\nNguồn: (Điều 4 Thông tư số 41/2016/TT-BTNMT, có hiệu lực thi hành kể từ ngày 10/02/2017)\nNội dung:\n1. Vị trí tâm bão, áp thấp nhiệt đới trong thời hạn dự báo. 2. Cấp gió mạnh nhất vùng gần tâm áp thấp nhiệt đới, bão; cấp gió giật mạnh nhất. 3. Phạm vi gió mạnh cấp 6, cấp 10. 4. Sóng lớn, nước dâng, ngập lụt vùng ven biển. 5. Cấp gió mạnh trên đất liền. 6. Mưa lớn diện rộng.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.9279, -0.1682],
#         [ 0.9279,  1.0000, -0.1524],
#         [-0.1682, -0.1524,  1.0000]])

Training Details

Training Dataset

json

• Dataset: json
• Size: 183,729 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	min: 13 tokensmean: 25.15 tokensmax: 62 tokens	min: 91 tokensmean: 423.11 tokensmax: 768 tokens

• Samples:

  anchor	positive
  Quy định về 3.NĐ.4.37. Quyền và nghĩa vụ của người chơi là gì?	Chủ đề: Bưu chính, viễn thôngĐề mục: Công nghệ thông tinChương: Chương III - PHÁT TRIỂN CÔNG NGHỆ THÔNG TIN - Mục 1 - NGHIÊN CỨU - PHÁT TRIỂN CÔNG NGHỆ THÔNG TIN - Mục 2 - PHÁT TRIỂN NGUỒN NHÂN LỰC CÔNG NGHỆ THÔNG TIN - Mục 3 - PHÁT TRIỂN CÔNG NGHIỆP CÔNG NGHỆ THÔNG TINĐiều: Điều 3.3.NĐ.4.37. Quyền và nghĩa vụ của người chơiNguồn: (Điều 37 Nghị định số 72/2013/NĐ-CP, có hiệu lực thi hành kể từ ngày 01/09/2013)Nội dung:Người chơi có các quyền và nghĩa vụ sau đây: 1. Được chơi các trò chơi điện tử trừ các trò chơi điện tử bị cấm theo quy định của pháp luật; 2. Quyền và nghĩa vụ của người sử dụng Internet quy định tại Điều 10 Nghị định này; 3. Lựa chọn trò chơi điện tử phù hợp với độ tuổi của mình; 4. Không được lợi dụng trò chơi điện tử để thực hiện hành vi vi phạm pháp luật; 5. Thực hiện việc đăng ký thông tin cá nhân theo yêu cầu của Bộ Thông tin và Truyền thông; 6. Chấp hành quy định về quản lý giờ chơi, quy định về thời gian hoạt động của điểm cung cấp dịch vụ trò chơi điện tử ...
  3.TT.13.10. Xử lý đối với hạng mục công việc được đánh giá “không đạt yêu cầu” khi kiểm tra, nghiệm thu được pháp luật quy định như thế nào?	Chủ đề: Tài sản công, nợ công, dự trữ nhà nướcĐề mục: Quản lý, sử dụng tài sản côngChương: Chương IV - CHẾ ĐỘ QUẢN LÝ, SỬ DỤNG TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 1 - QUY ĐỊNH CHUNG VỀ QUẢN LÝ, SỬ DỤNGTÀI SẢN KẾT CẤU HẠ TẦNG - Mục 2 - HỒ SƠ, THỐNG KÊ, KẾ TOÁN, KIỂM KÊ, ĐÁNH GIÁ LẠI, BÁO CÁO, BẢO TRÌ TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 3 - KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 4 - XỬ LÝ TÀI SẢN KẾT CẤU HẠ TẦNG - Mục 5 - QUẢN LÝ, SỬ DỤNG TÀI SẢN KẾT CẤU HẠ TẦNG ĐƯỢC ĐẦU TƯ THEO HÌNH THỨC ĐỐI TÁC CÔNG TƯ - Mục 6 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG THỦY LỢI - Mục 7 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG HÀNG HẢI - Mục 8 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG HÀNG KHÔNG - Mục 9 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG GIAO THÔNG ĐƯỜNG THỦY NỘI ĐỊA - Mục 10 - QUẢN LÝ, SỬ DỤNG VÀ KHAI THÁC TÀI SẢN KẾT CẤU HẠ TẦNG ĐƯỜNG SẮT QUỐC GIAĐiều: Điều 28.3.TT.13.10. Xử lý đối với hạng mục công việc được đánh giá “k...
  Tôi cần tìm điều luật về 10.TT.7.2. Đối tượng áp dụng	Chủ đề: Nông nghiệp, nông thônĐề mục: Phòng, chống thiên taiChương: Chương I - NHỮNG QUY ĐỊNH CHUNGĐiều: Điều 24.10.TT.7.2. Đối tượng áp dụngNguồn: (Điều 2 Thông tư số 02/2021/TT-BNNPTNT, có hiệu lực thi hành kể từ ngày 25/07/2021)Nội dung:Thông tư này áp dụng đối với cơ quan, tổ chức, cá nhân có hoạt động liên quan đến xây dựng kế hoạch phòng, chống thiên tai các cấp ở địa phương.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 2
• learning_rate: 2e-05
• warmup_steps: 0.1
• gradient_accumulation_steps: 3
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 2
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 3
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 1.5 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.5.1
• Transformers: 5.9.0
• PyTorch: 2.11.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}