SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • dataset_full_fixed

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("vietnamese-bi-encoder-v2")
# Run inference
sentences = [
    'Nguy cơ đau bụng Những ai có nguy cơ mắc phải đau bụng? Nữ giới có nguy cơ mắc đau bụng theo chu kỳ kinh nguyệt. Ngoài ra, vì đau bụng là dấu hiệu của bệnh khác nên các đối tượng mắc phải thường là người lớn, người cao tuổi có chức năng tim, thận suy giảm. Yếu tố làm tăng nguy cơ mắc phải đau bụng Một số yếu tố làm tăng nguy cơ mắc đau bụng, bao gồm: Tổn thương đường tiêu hóa (loét dạ dày). Tổn thương gan.',
    'Nguy cơ đau bụng',
    'Xin BS cho biết, việc phẫu thuật để đưa 2 tinh hoàn ở ổ bụng xuống bìu cho trẻ có phức tạp không? Trẻ 7 tháng tuổi có thể phẫu thuật được chưa? BV địa phương (Bệnh viện Hội An - Quảng Nam) có thể tiến hành phẫu thuật này được không? Xin chân thành cảm ơn. (Phan Quốc Bảo - Hội An, Quảng Nam)',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

dataset_full_fixed

• Dataset: dataset_full_fixed at ef2e7fd
• Size: 54,755 training samples
• Columns: positive and query
• Approximate statistics based on the first 1000 samples:

  	positive	query
  type	string	string
  details	min: 30 tokensmean: 185.16 tokensmax: 256 tokens	min: 5 tokensmean: 78.78 tokensmax: 256 tokens

• Samples:

  positive	query
  Điều trị viêm loét dạ dày đơn thuần mà không tiệt trừ Hp Chào em, Kết quả này là em bị viêm hang vị dạ dày do nhiễm Hp rồi, em nhé. Hp là vi khuẩn gây viêm loét dạ dày thường gặp. Nhiễm Hp kèm có triệu chứng đau dạ dày thì cần phải điều trị tiệt trừ Hp, nếu chỉ điều trị viêm loét dạ dày đơn thuần mà không tiệt trừ Hp thì bệnh sẽ không hết và Hp có thể gây ra viêm loét kéo dài, viêm mạn và dẫn đến chuyển sản rồi ung thư dạ dày. Trị Hp thì BS sẽ phải dùng kháng sinh, vì đây là vi khuẩn, và phải dùng 2 loại kháng sinh phối hợp với thuốc ức chế tiết dạ dày 14 ngày mới diệt được Hp (phác đồ chuẩn của hội tiêu hóa gan mật Việt Nam và thế giới), vì chúng trú ẩn sâu trong thành của dạ dày. Em nên đến khám chuyên khoa Tiêu hóa để được kê thuốc phù hợp (BS không được phép kê thuốc khi không trực tiếp khám cho người bệnh). Sau đợt điều trị thì em cần tái khám lại để BS đánh giá và điều chỉnh thuốc cho em, có thể là sẽ tiếp tục điều trị thêm vài tuần để kiểm soát hẳn triệu chứng khó chịu rồi mới n...	Bác sĩ cho em hỏi phiếu kết quả như vậy là có bị nhiễm Hp không ạ?Thực quản: trơn láng, không viêm loét. Tâm vị, góc bờ cong nhỏ: không viêm loét. Đáy vị, thân vị: mềm, không viêm loét. Hang vị: viêm sung huyết mức độ nhẹ. Môn vị: tròn đều. Hành tá tràng: không viêm loét, thông thoáng. Clo test: dương tính.
  Chào bạn, Bạn có tình trạng xuất huyết tiêu hóa dưới mức độ nhẹ. Nếu xuất huyết do nứt kẽ hậu môn sẽ không thể có hiện tượng máu tươi chảy ra nhiều và loãng, máu loãng nghĩa là có trộn với dịch đại trực tràng. Bạn nên đến khoa nội soi tiêu hóa để được thăm khám và tiến hành nội soi đại tràng để khảo sát tổn thương nhằm loại trừ các bệnh lý nguy hiểm nhé. Thân ái chào bạn.	Em chào bác sĩ.Trong vòng 1 tuần vừa rồi em có 2 lần đi đại tiện với triệu chứng máu tươi chảy ra rất nhiều và loãng (không dính nhầy), có điểm chung trước khi bị là em thường ăn cay đến rất cay và hút thuốc lá (em không thường xuyên hút thuốc).Trước đây khoảng 1 năm thì em đi khám được bác sĩ nói là em bị nứt kẽ hậu môn và cũng có đi ngoài ra máu nhưng ít, không đáng kể. Còn bây giờ chảy ra rất nhiều như vậy thì có liên quan đến ung thư không ạ? Em xin cảm ơn bác sĩ.
  Chào Kim Vân, là những ký sinh trùng nhỏ thường gặp và phổ biến trên thế giới, thường ký sinh ở động vật có vú, có 2 loài gây bệnh ở người là D.folliculorum và D.brevis. Ở người, chúng có thể ký sinh mọi nơi trên cơ thể nơi có nang lông và tuyến bã, nhiều nhất ở mặt đặc biệt ở mũi, trán, cằm và má gây ra triệu chứng viêm chân tóc, viêm mí mắt bởi sự kích ứng vùng lông mi, và hiện diện trong nhiều sang thương da ở vùng mặt như: mụn, viêm da quanh miệng, mụn trứng cá đỏ hoặc viêm nang lông,.. đặc biệt trên những người có cơ địa suy giảm miễn dịch. Các đường lây có thể do tiếp xúc trực tiếp, hoặc do bụi bẩn có chứa trứng của ký sinh trùng bám vào da,… Các yếu tố thuận lợi gây bệnh: - Da tiết nhiều chất nhờn hoặc vệ sinh kém. - Tổn thương trên da. - Điều kiện môi trường thuận lợi như độ ẩm. - Sử dụng mỹ phẩm hoặc thuốc gây kích ứng da, làm da tổn thương,... Điều trị Demodex được hướng dẫn như sau: - Thuốc thoa tại chỗ trong trường hợp viêm mi mắt: Oxyde thủy ngân 1% thoa 2 lần/ngày trong ...	Chào BS ạ,

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 60
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 60
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}