SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'RobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Tìm lực tác dụng lên điện tích chuyển động trong từ trường đều',
]
documents = [
    '+ Do d = bsin\uf061, nên (Tự học -trong tài liệu đã gửi) + Gọi Wm(\uf061) và Wm(0) là năng lượng của khung ở vị trí ban đầu 4.8. Chuyển động của hạt tích điện trong từ trường + Hơn nữa, pm= IS, nên khi ấy: \uf061và vị trí cuối \uf061= 0 của quá trình dịch chuyển, ta có: 4.8.1. Lực từ tác dụng lên hạt điện tích chuyển động \uf071Giả sử điện tích q, chuyển động vận tốc 𝐯trong từ trường 𝐁. (Chiều của 𝐩mhướng lên trên, phương \uf05evới mp (𝐩m, 𝐁)) hay có thể viết dưới dạng: \uf05bGiống một phần tử dòng điện I𝐝𝒍⃗, thỏa mãn điều kiện: (Xem lại phần 4.2.5) 5 16/03/2025 + Lực từ tác dụng lên phần tử dòng điện: 4.8.2. Chuyển động của hạt tích điện trong từ trường đều \uf05bVéctơ 𝐁 có tọa độ:',
    'đặt trong chân không cách nhau 1 m, thì gây nên mỗi mét chiều \uf071Áp dụng quy tắc bàn tay trái, ta thấy: dài mỗi dây một lực bằng 2\uf0b410-7N. + Lực từ tác dụng lên BC hướng xuống dưới, và lên cạnh DA hướng lên trên. Hai 4.7.3. Tác dụng của từ trường đều lên một mạch điện kín lực này triệt tiêu nhau. \uf071Xét khung dây dẫn cứng ABCD có cạnh a và b, và có dòng + Lực từ𝐅⃗tác dụng lên AB hướng về điện I chạy qua. Khung đặt trong từ trường đều 𝐁có phương phía trước, và 𝐅⃗’ lên CD hướng về phía sau. \uf05evới AB và CD. Cả 2 lực này luôn \uf05evới AB, CD và 𝐁, có độ + Giả sử khung có thể quay quanh trục thẳng đứng \uf044của nó. lớn bằng nhau, nhưng ngược chiều nhau. Sự hút và đẩy nhau của 2 dòng điện thẳng song song cùng chiều(bên trái)',
    'Không ngạc nhiên khi rất nhiều truy vấn yêu cầu thông tin từ nhiều bảng dữ liệu khác nhau. Ví dụ muốn đưa ra thông tin khách hàng của các đơn hàng, cần kết hợp thông tin từ hai bảng dữ liệu là customers và orders. Kết hợp các bảng dữ liệu để tạo ra một bảng suy diễn được gọi là phép nối (join). Trong bài này, chúng ta sẽ làm quen với phép toán nối để truy vấn dữ liệu từ nhiều bảng: INNER JOIN, LEFT JOIN, SELF JOIN 1. PHÉP NỐI TRONG (INNER JOIN) INNER JOIN hay còn gọi là phép nối trong, là một phần tùy chọn của câu lệnh SELECT. Nó xuất hiện liền ngay sau mệnh đề FROM. Trước khi sử dụng INNER JOIN, phải xác định rõ các tiêu chí sau đây:',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5014, 0.1016, 0.1025]])

Evaluation

Metrics

Information Retrieval

• Dataset: val
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,360 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 9 tokensmean: 14.92 tokensmax: 23 tokens	min: 150 tokensmean: 199.37 tokensmax: 256 tokens	min: 70 tokensmean: 193.09 tokensmax: 256 tokens

• Samples:

  anchor	positive	negative
  Khái niệm phần mềm như thế nào	Công nghệ phần mềm Kỹ nghệ Phần mềm (SE) Nội dung • Khái niệm về SE • Các yếu tố cơ bản của SE • Các giai đoạn phát triển của SE • Vòng đời phát triển • Các thách thức cho phát triển PM • Chi phí cho phát triển PM • Một số vấn đề về đạo đức nghề nghiệp Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 2 Một số định nghĩa về SE Software Engineering (SE) • SE là thiết lập và sử dụng các nguyên lý công nghệ đúng đắn để được phần mềm một cách kinh tế, vừa tin cậy vừa làm việc hiệu quả trên các máy thực. [Bauer 1969] • SE là nguyên lý kỹ nghệ liên quan đến tất cả các mặt lý thuyết, phương pháp, và công cụ của phần mềm. [Sommerville 1995] Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 3	mặt lý thuyết, phương pháp, và công cụ của phần mềm. [Sommerville 1995] Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 3 Một số định nghĩa về SE Software Engineering (SE) • SE là bộ môn tích hợp cả quy trình, các phương pháp, các công cụ để phát triển phần mềm máy tính. [Pressman 1995] Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 4 Khái niệm về SE • là ngành công nghiệp liên quan đến mọi khía cạnh của việc phát triển phần mềm (thu thập, phân tích và đặc tả; thiết thế, lập trình, kiểm thử, chuyển giao, vận hành và ảo trì, …) • Kỹ nghệ: xây dựng PM bằng cách ứng dụng các lý thuyết, phương pháp, công cụ một cách chọn lọc và cố gắng tạo ra các giải
  Khái niệm phần mềm như thế nào	Công nghệ phần mềm Kỹ nghệ Phần mềm (SE) Nội dung • Khái niệm về SE • Các yếu tố cơ bản của SE • Các giai đoạn phát triển của SE • Vòng đời phát triển • Các thách thức cho phát triển PM • Chi phí cho phát triển PM • Một số vấn đề về đạo đức nghề nghiệp Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 2 Một số định nghĩa về SE Software Engineering (SE) • SE là thiết lập và sử dụng các nguyên lý công nghệ đúng đắn để được phần mềm một cách kinh tế, vừa tin cậy vừa làm việc hiệu quả trên các máy thực. [Bauer 1969] • SE là nguyên lý kỹ nghệ liên quan đến tất cả các mặt lý thuyết, phương pháp, và công cụ của phần mềm. [Sommerville 1995] Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 3	Công nghệ phần mềm Thiết kế kiến trúc Nội dung • Định nghĩa kiến trúc phần và một số khái niệm • Thiết kế kiến trúc • Một số kiểu kiến trúc Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 2 Nội dung • Định nghĩa kiến trúc phần mềm và Một số khái niệm • Thiết kế kiến trúc • Một số kiểu kiến trúc Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 3 Định nghĩa KTPM • Có nhiều trường phái • Richard N. Taylor và đồng nghiệp – “A software system’s architecture is the set of principal design decisions about the system” – Kiến trúc phần mềm là bản thiết kế cho việc xây dựng và tiến hóa phần mềm – Các quyết định thiết kế bao gồm nhiều khía cạnh của hệ thống đang được phát triển • Cấu trúc • Hành vi
  Khái niệm phần mềm như thế nào	Công nghệ phần mềm Kỹ nghệ Phần mềm (SE) Nội dung • Khái niệm về SE • Các yếu tố cơ bản của SE • Các giai đoạn phát triển của SE • Vòng đời phát triển • Các thách thức cho phát triển PM • Chi phí cho phát triển PM • Một số vấn đề về đạo đức nghề nghiệp Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 2 Một số định nghĩa về SE Software Engineering (SE) • SE là thiết lập và sử dụng các nguyên lý công nghệ đúng đắn để được phần mềm một cách kinh tế, vừa tin cậy vừa làm việc hiệu quả trên các máy thực. [Bauer 1969] • SE là nguyên lý kỹ nghệ liên quan đến tất cả các mặt lý thuyết, phương pháp, và công cụ của phần mềm. [Sommerville 1995] Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 3	– Cấu trúc phần mềm thành nhiều tầng Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 10 Các thuộc tính chất lượng • Thuộc tính thiết kế (Design qualities) • Thuộc tính thời gian thực thi (Run-time qualities) • Thuộc tính hệ thống (System qualities) • Thuộc tính người dùng (User qualities) Nguồn: https://msdn.microsoft.com/en-us/library/ee658094.aspx Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 11 Nội dung • Định nghĩa kiến trúc phần mềm và một số khái niệm • Thiết kế kiến trúc • Một số kiểu kiến trúc Bộ môn Công nghệ phần mềm -Khoa CNTT -Trường ĐHCN -ĐHQGHN 12 Các nguyên lý thiết kế • Phân tách các khía cạnh quan tâm (Separation of concerns): chia ứng dụng thành các phần càng ít

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 420 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 10 tokensmean: 16.02 tokensmax: 25 tokens	min: 183 tokensmean: 218.04 tokensmax: 256 tokens	min: 178 tokensmean: 215.53 tokensmax: 256 tokens

• Samples:

  anchor	positive	negative
  Lực từ tác dụng lên khung dây dẫn cứng ABCD là bao nhiêu?	đặt trong chân không cách nhau 1 m, thì gây nên mỗi mét chiều Áp dụng quy tắc bàn tay trái, ta thấy: dài mỗi dây một lực bằng 210-7N. + Lực từ tác dụng lên BC hướng xuống dưới, và lên cạnh DA hướng lên trên. Hai 4.7.3. Tác dụng của từ trường đều lên một mạch điện kín lực này triệt tiêu nhau. Xét khung dây dẫn cứng ABCD có cạnh a và b, và có dòng + Lực từ𝐅⃗tác dụng lên AB hướng về điện I chạy qua. Khung đặt trong từ trường đều 𝐁có phương phía trước, và 𝐅⃗’ lên CD hướng về phía sau. với AB và CD. Cả 2 lực này luôn với AB, CD và 𝐁, có độ + Giả sử khung có thể quay quanh trục thẳng đứng của nó. lớn bằng nhau, nhưng ngược chiều nhau. Sự hút và đẩy nhau của 2 dòng điện thẳng song song cùng chiều(bên trái)	chiều ngón cái choãi ra là chiều của lực từ. tắc vặn nút chai) và có độ lớn: Như vậy:Hai dòng điện // cùng chiều thì hút nhau. Tương tự như trên, nhưng I1và I2ngược chiều nhau, ta sẽ có Chú ý:Người ta dựa vào lực tương tác để định nghĩa Ampe như + Ban đầu, mặt khung không với 𝐁, kết luận sau: Hai dòng điện // ngược chiều thì đẩy nhau. sau: Ampe là cường độ của 1 dòng điện không đổi chạy qua hai Véctơ mômen từ𝐩mcủa nó hợp với𝐁 dây dẫn thẳng song song dài vô hạn, tiết diện nhỏ không đáng kể, một góc . đặt trong chân không cách nhau 1 m, thì gây nên mỗi mét chiều Áp dụng quy tắc bàn tay trái, ta thấy: dài mỗi dây một lực bằng 210-7N. + Lực từ tác dụng lên BC hướng xuống
  Lực từ tác dụng lên khung dây dẫn cứng ABCD là bao nhiêu?	đặt trong chân không cách nhau 1 m, thì gây nên mỗi mét chiều Áp dụng quy tắc bàn tay trái, ta thấy: dài mỗi dây một lực bằng 210-7N. + Lực từ tác dụng lên BC hướng xuống dưới, và lên cạnh DA hướng lên trên. Hai 4.7.3. Tác dụng của từ trường đều lên một mạch điện kín lực này triệt tiêu nhau. Xét khung dây dẫn cứng ABCD có cạnh a và b, và có dòng + Lực từ𝐅⃗tác dụng lên AB hướng về điện I chạy qua. Khung đặt trong từ trường đều 𝐁có phương phía trước, và 𝐅⃗’ lên CD hướng về phía sau. với AB và CD. Cả 2 lực này luôn với AB, CD và 𝐁, có độ + Giả sử khung có thể quay quanh trục thẳng đứng của nó. lớn bằng nhau, nhưng ngược chiều nhau. Sự hút và đẩy nhau của 2 dòng điện thẳng song song cùng chiều(bên trái)	Véctơ cảm ứng từ và cường độ từ trường Chú ý: Ba véctơ 𝒓, d𝒍⃗, và 𝐧hợp + Công thức trên có thể biểu diễn dưới dạng sau: 4.2.1. Khái niệm từ trường thành một tam diện thuận. Bấtkỳdòngđiệnnàocũngsinhratừtrườngxungquanhnó. Định luật Ampe: + Nếuđặtmộtdòngđiệnkhácquanhnó, thìdòngđiệnnàysẽ + Lực từ doI.d𝒍⃗tác dụng lên (ký hiệu có thể thay bằng : tích có hướng véctơ) chịutácdụngcủamộtlựctừ. I là o. d m 𝒍⃗ o ột c ù v n éc g t ơ đ ặ d t 𝐅 ⃗ t o r . o ng chân không Tương tác hai phần tử dòng điện + Nếu trong môi trường có độ từ thẩm ,công thức trở thành: dò + n T g h đ ô iệ n n g k q h u á a c t v ừ ớ t i r v ư ậ ờ n ng tố m cb à ằ l n ự g c v từ ận tr t u ố y c ề á n n t h ừ s d á ò n n g g . điệnnàytới
  Làm thế nào để khung dây quay trong từ trường điện?	lớn bằng nhau, nhưng ngược chiều nhau. Sự hút và đẩy nhau của 2 dòng điện thẳng song song cùng chiều(bên trái) và ngược chiều(bên phải) 𝐅⃗và 𝐅⃗’ tạo thành một ngẫu lực, làm khung quay quanh  + Khi khung quay một góc d, công của ngẫu lực từ: Năng lượng khung dây trong từ trường: cho đến khi mặt khung với 𝐁. Khi ấy, 𝐩mvà𝐁sẽ cùng chiều nhau. (Dấu trừ thể hiện lực từ sinh công phát động –Đọc thêm tài liệu) hay + Mômen của ngẫu lực có độ lớn: Công của ngẫu lực từ đưa khung về vị trí cân bằng: (d là khoảng cách giữa hai lực) 4.7.4. Công của lực từ + Do d = bsin, nên (Tự học -trong tài liệu đã gửi) + Gọi Wm() và Wm(0) là năng lượng của khung ở vị trí ban đầu 4.8.	đặt trong chân không cách nhau 1 m, thì gây nên mỗi mét chiều Áp dụng quy tắc bàn tay trái, ta thấy: dài mỗi dây một lực bằng 210-7N. + Lực từ tác dụng lên BC hướng xuống dưới, và lên cạnh DA hướng lên trên. Hai 4.7.3. Tác dụng của từ trường đều lên một mạch điện kín lực này triệt tiêu nhau. Xét khung dây dẫn cứng ABCD có cạnh a và b, và có dòng + Lực từ𝐅⃗tác dụng lên AB hướng về điện I chạy qua. Khung đặt trong từ trường đều 𝐁có phương phía trước, và 𝐅⃗’ lên CD hướng về phía sau. với AB và CD. Cả 2 lực này luôn với AB, CD và 𝐁, có độ + Giả sử khung có thể quay quanh trục thẳng đứng của nó. lớn bằng nhau, nhưng ngược chiều nhau. Sự hút và đẩy nhau của 2 dòng điện thẳng song song cùng chiều(bên trái)

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_steps: 0.1
• fp16: True
• tf32: False
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0.1
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 13.1 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.5.1
• Transformers: 5.0.0
• PyTorch: 2.11.0+cu128
• Accelerate: 1.13.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}