SentenceTransformer based on vinai/phobert-base-v2

This is a sentence-transformers model finetuned from vinai/phobert-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("phobert-base-v2-c-loss")
# Run inference
sentences = [
    'Xin bác sĩ cho tôi hỏi: Cách đây 1 tháng tôi có đi kiểm tra xét nghiệm máu kết quả:   - Anti- HCV nhanh -   Dương tính   - AST                22 /37U/L   - ALT                20/ 40 U/L   - GGT                60/50 U/L   - Sắt              556.1 / 4.6 -275.0 ng/ml Bệnh viện quận chuyển tuyến tôi lên tỉnh và tôi xét nghiệm chuyên sâu để điều trị; Huyết học, sinh hoá, siêu âm tổng quát , định lượng HCV-RNA, định genotype kết quả tất cả men gan điều trong ngưỡng ( tốt), sắt cao, siêu âm các bộ phận đều tốt, riêng gan nhiễm mỡ. - Định lượng HCV–RNA kết quả dưới ngưỡng phát hiện - Định genotype  kết quả không định được Bác sĩ nói kết quả dưới ngưỡng không có chỉ định điều trị theo phác đồ, và cho tôi toa thuốc hổ trợ gan và hẹn tôi 3-4 tháng xuống xét nghiệm lại. Xin hỏi bác sĩ: Tôi bị viêm gan C cấp tính hay mãn tính. Tôi tìm hiểu trên mạng khi bị viêm gan C phải kiểm tra luôn định tính của bệnh (HCV-RNA) nhưng bác sĩ ở tỉnh không chỉ định xét nghiệm. Vậy virus viêm gan C của tôi còn không? Và lượng sắt trong máu cao có nguy hiểm không mà bác sĩ không chỉ định điều trị. Hiện nay cơ thể tôi hơi mệt, ăn chậm tiêu, hay buồn ngủ. Kính mong bác sĩ tư vấn giúp tôi. Xin thành thật cảm ơn. (Trần Long - Đông Nai)',
    'Xin chào Quốc Ngọc, Bạn chưa cho AloBacsi biết đã bao nhiêu tuổi? Và triệu chứng tê tay của bạn cũng còn sơ sài quá: - Tê đều cả hai tay, hai chân cả ngày hay chỉ tê tay chân một vùng nào đó như bàn tay, bàn chân? - Mức độ tê nhiều hay ít? - Có giảm cảm giác nhiều không? - Khi nào tê xuất hiện? Tê tăng khi nào? -Tê ngày một nhiều hơn không? - Tê có kèm yếu tay chân không? Tê tay chân do nhiều nguyên nhân như: viêm dây thần kinh, tê do chèn ép thần kinh (hội chứng ống cổ tay, thoát vị đĩa đệm), tê ở bệnh nhân đái tháo đường có biến chứng thần kinh, do thiếu canxi huyết,… Bạn nên tái khám tại chuyên khoa Thần kinh để được khám trực tiếp, chẩn đoán nguyên nhân và điều trị. Thân ái chào bạn!',
    'Thế Anh thân mến! Vùng mũi họng có một hệ thống các tổ chức lympho gồm các amydale (amidan) là: - Amygdale vòm (gọi là VA hay bị viêm lúc nhỏ, khi có biến chứng BS phải nạo đi) - Amygdale quanh lỗ tai vòi (là đường thông từ tai giữa xuống mũi) - Amygdale họng (là bộ phận hay viêm, mổ BS sẽ lấy nó đi) - Amygdale lưỡi (khi sờ tay vào sâu trong lưỡi có cảm giác sờ vào các hạt) - Các amygdale trên tạo thành một vòng bạch huyết, là tuyến đầu giúp cơ thể phát hiện, cảnh báo, ngăn chặn sự xâm nhập của các tác nhân gây bệnh từ ngoài vào. Hoạt động mạnh từ khi sinh ra cho tới 5-7 tuổi, khi lượng kháng thể đã đáp ứng cho nhu cầu bảo vệ của cơ thể thì chức năng sinh học của chúng giảm dần và sẽ teo đi. Bạn viêm amygdale mạn kéo dài nhiều tháng, nay tái phát hồi viêm (bị đau họng, nhức lắm: tức đang bị viêm cấp, hay viêm tấy quanh amygdale) nên làm cho hạch cổ sưng to, đồng thời làm cho viêm mũi xoang (không loại trừ viêm phế quản): khạc ra dịch nhầy, đôi khi có lẫn chút máu đỏ. Bạn đã có biến chứng (mũi, xoang, họng...), bệnh kéo dài và tái phát nhanh, mặc dù đã điều trị tích cực nhưng đáp ứng kém với điều trị nội khoa, đây là một trong những chỉ định của cắt amygdale. Năm nay bạn 18 tuổi nên việc cắt amygdale viêm mạn sẽ không ảnh hưởng tới sức khỏe (nếu amygdale là ổ nhiễm trùng, viêm thường xuyên thì việc cắt bỏ là cần thiết). Tuy nhiên bạn nên tới BS chuyên khoa Tai mũi họng để có chỉ định điều trị cụ thể. Trước khi thực hiện phẫu thuật các BS sẽ khám kỹ về tai mũi họng, khám nội khoa: tim mạch, hô hấp dưới, huyết học, dị ứng..., các tiền căn cá nhân, gia đình để đánh giá tổng trạng chung, phát hiện các bệnh lý và các bất thường về sức khỏe khác đi kèm, nếu được BS mới tiến hành phẫu thuật, nên bạn yên tâm. Tai biến trong và sau phẫu thuật có tỷ lệ cực nhỏ, rất hiếm gặp. Theo tài liệu của bộ môn Tai mũi họng, ĐH Y Dược TPHCM, tỷ lệ tử vong do cắt amygdale từ 1/10.000 -1/40.000. Bạn tham khảo thêm câu hỏi sau nhé: >> Chúc bạn mau chóng bình phục sức khỏe!',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 87,606 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 5 tokensmean: 78.24 tokensmax: 256 tokens	min: 31 tokensmean: 185.13 tokensmax: 256 tokens	0: ~47.90%1: ~52.10%

• Samples:

  sentence1	sentence2	label
  Chào các BS ạ,Xin hỏi BS tôi đi khám nội soi đại tràng bệnh viện kết luận bị carcinnom biệt hoá kém, xâm nhập mô mỡ sợi là gì xin BS tư vấn giùm cảm ơn ạ!	Carcinoma tức là ung thư dạng biểu mô, biệt hóa kém nghĩa là mức độ biệt hóa của tế bào ung thư Chào em, Kết quả này là hơi buồn đó bạn à, vì đây là bệnh ung thư đại tràng. "Carcinnom biệt hoá kém " là ung thư biểu mô tuyến ở đại tràng, là bệnh lý ác tính, nguy hiểm. Loại ung thư này thường xâm nhập sâu và gây di căn sớm ở hạch lympho tại chỗ. Bệnh ung thư đại tràng cần điều trị càng sớm càng tốt khi phát hiện ra bệnh. Điều trị ung thư đại tràng chủ yếu là ngoại khoa. Xạ trị và hoá trị liệu thường có tính chất hỗ trợ, có thể sử dụng đồng thời hay sau khi phẫu thuật. Bước tiếp theo BS sẽ đề nghị bạn làm thêm 1 số xét nghiệm để xác định giai đoạn của bệnh (kiểm tra thêm di căn hạch vùng, di căn xa), từ đó sẽ lên liệu trình điều trị phù hợp cho bạn, bạn nhé.	1
  Chào bác sĩ,

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• learning_rate: 1e-06
• num_train_epochs: 5
• lr_scheduler_type: constant_with_warmup
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: constant_with_warmup
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}