SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert on the dataset_full_fixed dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: keepitreal/vietnamese-sbert
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • dataset_full_fixed

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("vietnamese-sbert-v2")
# Run inference
sentences = [
    'Chào em Tùy theo , mức độ của bệnh, sức khỏe bệnh nhi và bệnh có nguy cơ gây biến chứng nặng nề hơn,… BS nhi sẽ cân nhắc việc dùng thuốc điều trị, sao cho phù hợp với bệnh lý và sức khỏe của bé, cho nên em cần hợp tác tốt với BS điều trị. Nếu bệnh lý của bé không được điều trị sớm và đúng bệnh, đúng thuốc thì nhiều khả năng bệnh sẽ tiến triển nặng hơn hoặc gây biến chứng khó thở thanh quản, viêm phế quản,… Cho nên trường hợp của bé qua mô tả của em tôi thấy bệnh không có chút thuyên giảm và có chiều hướng nặng hơn. Bây giờ, em nên đưa bé đến BV Nhi khám và điều trị sớm. Thân mến!',
    'Xin chào BS, \r\n\r\nCháu có một bé gái 3 tuổi, gần đây bé bị sốt và ho, chẩn đoán viêm thanh quản. BS có kê cho cháu 1 đơn thuốc gồm kháng sinh + kháng viêm Mekocetin (ngày 2 viên/2 lần). Nhưng qua tìm hiểu cháu được biết Mekocetin không tốt cho trẻ nên không dám cho uống mà chỉ sửa dụng kháng sinh.\r\n\r\nEm bé sau khi uống hết đợt kháng sinh đã hạ sốt được 2 ngày thì sốt lại và ho nhiều. Bây giờ cháu cho bé uống Mekocetin được không ạ, hay là lại phải uống lại kháng sinh 5 ngày nữa + Mekocetin ạ?\r\n\r\nCháu rất cám ơn BS ạ!\r\n\r\nThuốc đã uống: kháng sinh, Mekocetin.',
    'AloBacsi ơi,\r\n\r\nVợ em uống nhiều rượu, giờ nôn ra dịch vàng có vị đắng... Giờ phải làm sao BS?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

dataset_full_fixed

• Dataset: dataset_full_fixed at ef2e7fd
• Size: 54,755 training samples
• Columns: positive and query
• Approximate statistics based on the first 1000 samples:

  	positive	query
  type	string	string
  details	min: 30 tokensmean: 184.05 tokensmax: 256 tokens	min: 6 tokensmean: 78.76 tokensmax: 256 tokens

• Samples:

  positive	query
  Diane 35 và Mercilon đều là thuốc tránh thai thế hệ thứ 3 Chào em, Thuốc Diane 35 có hàm lượng cyproterone acetate 2 mg và ethinyl estradiol 0,035 mg. Mercilon thành phần có desogestrel 0.15mg, ethinyl estradiol 0.03mg. Cả hai đều là các thuốc tránh thai phối hợp gồm cả progestil và estrogen, thuốc thế hệ thứ 3, liều estrogen cực thấp để giảm tác dụng phụ của thuốc tránh thai. Thuốc có tác dụng tránh thai do: ngăn cản sự rụng trứng; Làm cho chất nhầy cổ tử cung đặc lại, khiến cho tinh trùng khó đi vào tử cung; Làm cho nội mạc tử cung mỏng khiến phôi khó bám vào tử cung. Điều này cũng giảm tỉ lệ có thai. Riêng Diane 35 còn có tác dụng trị mụn trứng cá khi những biện pháp điều trị khác không hiệu quả, các dạng tiết bã nhờ gây viêm, mủ hoặc chứng rụng tóc androgen di truyền hoặc đối với những trường hợp phát triển quá mức lông mặt hoặc lông cơ thể mức độ nhẹ đến trung bình không rõ nguyên nhân. Không có loại thuốc tránh thai nào là an toàn nhất cho tất cả mọi người, chỉ có loại nào phù hợ...	Cho em hỏi là thuốc tránh thai Diane 35 và Mercilon thì lọai nào tốt và an toàn nhất ạ? Em cảm ơn bác sĩ.(Nguyễn Hà Phương Anh - 096690...)
  Chào cháu, Ban đêm bố cháu ngủ rất hay giật mình nói mơ, có thể do nhiều nguyên nhân như môi trường đang sinh sống (nhà chật chội, ồn ào, bụi bặm...), tâm lý không ổn định (có chuyện buồn bực, con cháu), trước khi ngủ xem phim có nội dung không vui, ăn tối quá trễ, ăn uống nhiều chất kích thích như rượu bia... Ngoài ra có thể do bệnh lý như tim mạch, huyết áp, tiểu đường, thoái hóa khớp, viêm đại tràng mãn... Mất ngủ ban đêm thì ban ngày, người già không có việc gì làm và ngủ bù lại đó là chuyện đương nhiên. Bên cạnh đó, các triệu chứng mệt mỏi, ăn không ngon có thể do nhiều bệnh lý khác nhau, trong đó có những bệnh đã nêu trên. Cháu nên đưa bố đi khám nội tổng quát để bác sĩ khám, chỉ định làm thêm cận lâm sàng như Xquang, siêu âm, nội soi, xét nghiệm máu... để tìm nguyên nhân và hướng dẫn điều trị nhé!	Chào bác sĩ ạ,

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 100
• per_device_eval_batch_size: 1
• learning_rate: 1e-06
• num_train_epochs: 10
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 100
• per_device_eval_batch_size: 1
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}