SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Sự ngụy trang trong giao tiếp là biểu hiện của sự thiếu tự tin hay là một phần của cuộc sống?',
    'Tôi là một người chuyển giới song tính, tôi phải làm sao đây?. Tôi đã từng yêu cả đàn ông lẫn phụ nữ, sau này tôi phát hiện giới tính sinh học của mình là nữ nhưng bản dạng giới là nam, tôi có sự thôi thúc muốn yêu cả phụ nữ và đàn ông. (Đối với đàn ông, tôi có chút bài trừ về mặt sinh lý và tiếp xúc thể xác, phụ nữ thì không. Trong trường hợp không phát sinh quan hệ thì bao gồm cả đàn ông). Từ khóa liên quan: tình yêu, xu hướng tính dục',
    'Người yêu mình thấy mình có chứng cưỡng chế, không có tình điệu, hai chúng mình ai có biểu hiện chứng cưỡng chế?. Thường thì trước tivi sẽ có một cái kệ tivi, người yêu mình thích đặt một bình hoa cắm hoa trên kệ tivi để trang trí phòng khách. Nhưng bình hoa, hoa xòe ra sẽ che mất một phần tivi. Lúc xem tivi, mình cho rằng có vật che chắn nhìn không thoải mái, người yêu mình thấy mình có chứng cưỡng chế, vả lại không có tình điệu cuộc sống. Từ khóa liên quan: hành vi, cưỡng chế',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, -0.7952, -0.7853],
#         [-0.7952,  1.0000,  0.9406],
#         [-0.7853,  0.9406,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 39,075 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 14 tokensmean: 28.91 tokensmax: 81 tokens	min: 38 tokensmean: 116.36 tokensmax: 240 tokens	min: 35 tokensmean: 117.74 tokensmax: 254 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét và ánh mắt của người khác?	Em cảm thấy vô năng khi không giải quyết được vấn đề của thân chủ, em nên làm gì ạ?. Càng lớn lên, em càng thấy nhiều mặt tối tăm hơn. Bây giờ em mới hiểu, hóa ra con người có thể không có nguyên tắc, không có giới hạn; hóa ra "điều mà mình không muốn thì đừng làm cho người khác" toàn là giả dối; hóa ra "người ngốc" không có "phúc ngốc". Tại sao lại phải trở nên "thông minh, độc lập, kiên cường". Từ khóa liên quan: nhà tư vấn mới, cảm giác vô năng, giám sát chuyên môn	Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét của người khác?. Trưởng thành rồi thì càng ngày càng lý trí hơn. Xin hỏi làm sao để làm được việc cân bằng giữa cảm tính và lý trí. Từ khóa liên quan: đánh giá bên ngoài, nhạy cảm, điều chỉnh tâm lý
  Nữ sinh 14 tuổi, mấy năm nay luôn có ý định tự sát, em phải làm sao đây?	Phụ huynh luôn coi em là đồ vô dụng. Mọi rắc rối trong nhà đều là lỗi của em. Bà ngoại đòi mua vé về quê cũng bảo là do thái độ của em không tốt; mẹ gọi điện thoại đột nhiên quát mắng em, cũng bảo là do em làm cao, có ý kiến với mẹ; hai mẹ con ở hai phòng khác nhau nhắn tin qua lại, em dùng điện thoại thì mẹ chê em lười biếng, vô dụng, em nói to thì mẹ chê thái độ em không tốt, dám quát mẹ, đến trước mặt nói chuyện thì mẹ lại chê mặt em sưng sỉa. Từ khóa liên quan: gia đình, quan hệ gia đình, người nhà kiểm soát	Nữ sinh 17 tuổi, nửa năm nay luôn bất ổn cảm xúc, hay cáu gắt với người thân?. Không có gì xảy ra cả, nhưng tôi lại rất buồn. Mất ngủ, đau đầu, tính khí nóng nảy, dễ nổi cáu, không thể tập trung. Tôi từng nghĩ đến việc làm hại bản thân, nhưng sợ ảnh hưởng về sau nên đành bỏ ý định đó. Từ khóa liên quan: cảm xúc, trầm cảm, điều tiết cảm xúc
  Tại sao mỗi lần cãi nhau, bạn trai lại luôn không đi làm vào ngày hôm sau?	Tôi là một người chuyển giới song tính, tôi phải làm sao đây?. Tôi đã từng yêu cả đàn ông lẫn phụ nữ, sau này tôi phát hiện giới tính sinh học của mình là nữ nhưng bản dạng giới là nam, tôi có sự thôi thúc muốn yêu cả phụ nữ và đàn ông. (Đối với đàn ông, tôi có chút bài trừ về mặt sinh lý và tiếp xúc thể xác, phụ nữ thì không. Trong trường hợp không phát sinh quan hệ thì bao gồm cả đàn ông). Từ khóa liên quan: tình yêu, xu hướng tính dục	Hôm nay là sinh nhật mình, năm nào cũng cãi nhau với bạn trai, nỗi uất ức không nói nên lời?. Tại sao năm nào mình đón sinh nhật, bạn trai cũng luôn làm mình không vui. Năm nay mình 24 tuổi, ở bên anh ấy được 1009 ngày. Mình thực sự rất chú trọng cảm giác nghi thức, đặc biệt là sinh nhật mỗi năm chỉ có một lần, mình muốn đón thật tử tế, nhưng mình thậm chí còn chẳng có lấy một tấm ảnh nào để đăng lên mạng xã hội. Từ khóa liên quan: tình yêu, cãi nhau, vận hành tình yêu

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 37.8 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}