SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka")
# Run inference
sentences = [
    'thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ hồ sơ hợp lệ.',
    'Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học, có thời hạn giải quyết như thế nào?',
    'Thành phần hồ sơ giải quyết chế độ hỗ trợ đối với người Việt Nam có công với cách mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về chế độ hỗ trợ và một số chế độ đãi ngộ khác đối với người Việt Nam có công với cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc và làm nhiệm vụ quốc tế đang định cư ở nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những giấy tờ gì?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Information Retrieval

• Dataset: dim_512
• Evaluated with InformationRetrievalEvaluator

Information Retrieval

• Dataset: dim_256
• Evaluated with InformationRetrievalEvaluator

Information Retrieval

• Dataset: dim_128
• Evaluated with InformationRetrievalEvaluator

Information Retrieval

• Dataset: dim_64
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 10,200 training samples
• Columns: positive and anchor
• Approximate statistics based on the first 1000 samples:

  	positive	anchor
  type	string	string
  details	min: 4 tokensmean: 153.67 tokensmax: 256 tokens	min: 6 tokensmean: 37.69 tokensmax: 256 tokens

• Samples:

  positive	anchor
  1. Thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như sau: - Bộ Thông tin và Truyền thông cấp giấy phép cho cơ quan, tổ chức ở trung ương; cơ quan, tổ chức, cá nhân nước ngoài;- Ủy ban nhân dân cấp tỉnh cấp giấy phép cho cơ quan, tổ chức, cá nhân có trụ sở hoặc cư trú tại địa phương; chi nhánh, văn phòng đại diện, đơn vị trực thuộc cơ quan, tổ chức ở trung ương đặt tại địa phương.2. Hồ sơ bao gồm: - Đơn đề nghị cấp giấy phép trong đó ghi rõ mục đích, thời gian, địa điểm và tên các đơn vị tham gia triển lãm, hội chợ;- Danh mục xuất bản phẩm để triển lãm, hội chợ theo mẫu quy định.(Quy định tại Khoản 2, 3 Điều 44 Luật Xuất bản)	Hồ sơ và thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như thế nào?
  - Trường hợp mất Danh mục và Phiếu theo dõi trừ lùi thì người khai hải quan có hồ sơ đề nghị cơ quan hải quan nơi cấp Danh mục lần đầu đề nghị cấp lại, bao gồm:+ Công văn đề nghị cấp lại Danh mục, Phiếu theo dõi trừ lùi trong đó nêu rõ: lý do mất Danh mục, Phiếu theo dõi trừ lùi và cam kết của người khai hải quan về tính chính xác của nội dung khai báo;+ Bảng kê toàn bộ tờ khai hải quan (điện tử hoặc giấy) của số lượng hàng hóa đã nhập khẩu theo danh mục;+ Bản Danh mục và Phiếu theo dõi trừ lùi của cơ quan hải quan nơi làm thủ tục nhập khẩu lô hàng cuối cùng trước khi thất lạc (01 bản chụp có xác nhận của cơ quan hải quan nơi nhập khẩu).- Khi làm thủ tục hải quan, người khai hải quan nộp, xuất trình cho cơ quan hải quan nơi đăng ký tờ khai hải quan các hồ sơ sau:+ Hồ sơ hải quan theo quy định hiện hành;+ Danh mục hàng hóa và Phiếu theo dõi trừ lùi đã đăng ký với cơ quan hải quan (bản giao người khai hải quan) để cơ quan hải quan làm thủ tục thực hiện trừ lùi hàng hóa nhập khẩu.	Trường hợp tôi làm mất Danh mục và Phiếu theo dõi trừ lùi hàng hóa nhập khẩu dung môi N-Hexan dùng trong sản xuất khô dầu đậu tương và dầu thực vật, cám gạo trích ly và dầu cám thì cần làm những thủ tục gì?
  Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá là: Tổng cục Thủy sản.	Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá ?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,134 evaluation samples
• Columns: positive and anchor
• Approximate statistics based on the first 1000 samples:

  	positive	anchor
  type	string	string
  details	min: 4 tokensmean: 155.4 tokensmax: 256 tokens	min: 6 tokensmean: 37.17 tokensmax: 256 tokens

• Samples:

  positive	anchor
  Việc thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất được tiến hành như sau:Bước 1. Vụ, phòng, Ban Thi đua – Khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương tiếp nhận đề nghị khen thưởng của các đơn vị thực thuộc.Bước 2. Thẩm định hồ sơ, xin ý kiến các cơ quan liên quan, báo cáo Hội đồng thi đua khen thưởng cùng cấp, tổng hợp trình Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố quyết định khen thưởng.Bước 3. Khi có Quyết định của Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương; Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo Quyết định, viết bằng, đóng dấu và cấp phát cho đơn vị trình khen.Bước 4. Các trường hợp không được khen thưởng (không đúng đối tượng, không đủ tiêu chuẩn, không đủ hồ sơ hoặc vi phạm pháp luật), Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo đến các đơn vị trình khen biết.	Đề nghị cho biết trình tự thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất
  Bông thủy tinh chống cháy là vật liệu chống cháy, thuộc danh mục phương tiện PCCC quy định Phụ lục V Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy. Do đó, nếu đưa vào sử dụng trong hạng mục PCCC của công trình thì phải kiểm định về PCCC. Tuy nhiên, đối với vật liệu bông thủy tinh cách nhiệt chống cháy được các cơ quan, tổ chức, cá nhân cần xem xét tùy vào yêu cầu cụ thể của công trình để đăng ký kiểm định “tính nguy hiểm cháy” đối với vật liệu đó hoặc “giới hạn chịu lửa” của kết cấu sử dụng vật liệu đó. Thành phần hồ sơ đề nghị kiểm định được quy định tại Điểm a Khoản 4 Điều 18 Thông tư 66/2014/TT-BCA ngày 16/12/2014 Quy định chi tiết thi hành một số điều của Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy, cụ thể bao gồm:- Đơn đề nghị kiểm định phương tiện (mẫu số PC17 ban hành kèm theo Thông tư số 66/2014/TT-BCA ngày 16/12/2014 của Bộ Công an);- Chứng nhận xuất xưởng.- Chứng nhận chất lượng.- Các tài liệu kỹ thuật của bông thủy tinh cách nhiệt chống cháy đề nghị kiểm định;	Bông thủy tinh cách nhiệt chống cháy có phải kiểm định không? Thành phần hồ sơ đề nghị kiểm định như thế nào?
  Thẻ thường trú không có thời hạn nhưng định kỳ 10 năm một lần, người nước ngoài thường trú phải đến nộp hồ sơ tại Phòng Quản lý xuất, nhập cảnh Công an tỉnh, thành phố trực thuộc Trung ương để đề nghị cấp đổi thẻ thường trú.	Thẻ thường trú có thời hạn không?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• gradient_accumulation_steps: 2
• learning_rate: 2e-05
• num_train_epochs: 2
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 2
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.1.2
• Accelerate: 0.29.3
• Datasets: 2.19.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}