SentenceTransformer based on tintnguyen/bert-base-vi-uncased-st

This is a sentence-transformers model finetuned from tintnguyen/bert-base-vi-uncased-st. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: tintnguyen/bert-base-vi-uncased-st
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/bert-base-vi-uncased-st-2")
# Run inference
sentences = [
    'những gì cần giáo dục để trở thành một y tá',
    'Nếu bạn quan tâm đến việc trở thành một y tá, bạn phải có bằng cử nhân và bằng tốt nghiệp, cũng như duy trì giấy phép và chứng chỉ hiện tại. Tiếp tục đọc để biết tổng quan về các bước giáo dục và yêu cầu chuyên môn của các học viên y tá. Tổng quan về Học viên Y tá. Những người hành nghề y tá là những y tá đã đăng ký (RN) có trình độ học vấn bổ sung cho phép họ đảm nhận vai trò nhà cung cấp dịch vụ chăm sóc sức khỏe ban đầu tương tự như một bác sĩ, bao gồm khả năng kê đơn thuốc.',
    'Mũi Capricorn ::: Mũi Capricorn là một mũi đất ở vùng bờ biển miền trung bang Queensland, Úc.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,859,206 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 4 tokensmean: 10.61 tokensmax: 27 tokens	min: 19 tokensmean: 84.55 tokensmax: 433 tokens

• Samples:

  anchor	positive
  ricardo emanuel silva là ai	Ricardo Enrique Silva ::: Ricardo Enrique Silva là một bác sĩ và nhà bất đồng chính kiến người Cuba.Ông đã bị chính quyền Cuba bắt trong vụ mùa xuân đen năm 2003 và bị xử phạt 10 năm tù.
  gốc của ngôn ngữ yiddish là gì	Tiếng Yiddish là ngôn ngữ lịch sử của người Do Thái Ashkenazic (Trung và Đông Âu), và là ngôn ngữ văn học chính thứ ba trong lịch sử Do Thái, sau tiếng Do Thái cổ điển và (Do Thái) Aramaic .iddish là ngôn ngữ lịch sử của người Do Thái Ashkenazic (Trung và Đông Âu), và là ngôn ngữ văn học chính thứ ba trong lịch sử Do Thái, sau tiếng Do Thái cổ điển và tiếng Aram (Do Thái).
  xã moulin-sous-touvent nằm ở quốc gia nào	Moulin-sous-Touvent ::: Moulin-sous-Touvent là một xã thuộc tỉnh Oise trong vùng Hauts-de-France phía bắc nước Pháp. Xã này nằm ở khu vực có độ cao trung bình 93 mét trên mực nước biển.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 300 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 300 samples:

  	anchor	positive
  type	string	string
  details	min: 6 tokensmean: 10.63 tokensmax: 23 tokens	min: 15 tokensmean: 86.9 tokensmax: 512 tokens

• Samples:

  anchor	positive
  dân số của xã west prairie là bao nhiêu	Xã West Prairie, Quận Poinsett, Arkansas ::: Xã West Prairie (tiếng Anh: West Prairie Township) là một xã thuộc quận Poinsett, tiểu bang Arkansas, Hoa Kỳ. Năm 2010, dân số của xã này là 894 người.
  đường giai quan là gì	Đường Cái Quan ::: Đường Cái Quan hay đường Thiên lý, cũng có khi gọi là đường Quan lộ, hay đường Quan báo là một con đường dài chạy từ miền Bắc Việt Nam đến miền Nam Việt Nam, chủ yếu đắp vào đầu thế kỷ 19.
  đài bắc là gì	Đài Bắc ::: Đài Bắc (tiếng Trung: 臺北市; bính âm: Táiběi Shì, Hán Việt: Đài Bắc thị; đọc theo IPA: tʰǎipèi trong tiếng Phổ thông) là thủ đô của Trung Hoa Dân Quốc (Đài Loan) và là thành phố trung tâm của một vùng đô thị lớn nhất tại Đài Loan, một trong sáu thành phố trực thuộc Trung ương của Đài Loan. Đài Bắc nằm ở đầu phía bắc của đảo chính và nằm bên sông Đạm Thủy, cách thành phố cảng Thái Bình Dương Cơ Long 25 km về phía đông bắc. Một thành phố ven biển khác, mà nay trở thành một quận của Tân Bắc là Đạm Thủy, nơi này cách Đài Bắc 20 km về phía tây bắc và nằm ở cửa con sông cùng tên thuộc eo biển Đài Loan. Đài Bắc nằm trên hai thung lũng tương đối hẹp tạo bởi sông Cơ Long (基隆河) và sông Tân Điếm (新店溪), hai sông hợp lưu tạo thành sông Đạm Thủy và chảy dọc theo ranh giới phía tây của thành phố.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.3.1
• Transformers: 4.46.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}