SentenceTransformer based on keepitreal/vietnamese-sbert

This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: keepitreal/vietnamese-sbert
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'RobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '[CONTEXT] Domain: MANUFACTURING_MECHANICAL | Environment: Nhà máy Sản xuất Linh kiện Điện tử FDI [CONTENT] Yêu cầu vị trí Gia công Cơ khí & Vận hành Máy CNC. Thiết kế đồ gá (Jig), bảo trì bảo dưỡng định kỳ thiết bị máy móc, tham gia cải tiến quy trình công nghệ nhằm nâng cao năng suất gia công.',
    '[CONTEXT] Type: professional_employment | Domain: MARKETING_COMMUNICATIONS | Seniority: intern [CONTENT] Kinh nghiệm thực chiến: Trực tiếp quản lý và tối ưu ngân sách quảng cáo hơn 200 triệu/tháng trên kênh Google Search & Display Ads, đạt chỉ số ROAS trung bình 4.8 và mang lại 1,500 đơn hàng/tháng.',
    '[CONTEXT] Type: professional_employment | Domain: SALES_BUSINESS_DEVELOPMENT | Seniority: sales_manager [CONTENT] Kinh nghiệm thực chiến: Thực hiện hơn 80 cuộc gọi tư vấn chất lượng cao mỗi ngày trên nền tảng Quy trình Chăm sóc Khách hàng Sau bán, duy trì tỷ lệ hẹn gặp thành công 18% và cập nhật dữ liệu chuẩn xác.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8127, 0.8104],
#         [0.8127, 1.0000, 0.9388],
#         [0.8104, 0.9388, 1.0000]])

Evaluation

Metrics

Semantic Similarity

• Dataset: InDomain_Val
• Evaluated with EmbeddingSimilarityEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 9,062 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  modality	text	text
  details	min: 90 tokensmean: 100.4 tokensmax: 113 tokens	min: 73 tokensmean: 105.03 tokensmax: 127 tokens	min: 0.05mean: 0.33max: 0.96

• Samples:

  sentence_0	sentence_1	label
  [CONTEXT] Domain: HUMAN_RESOURCES_ADMIN | Environment: Doanh nghiệp FDI Đa quốc gia [CONTENT] Yêu cầu trách nhiệm quản lý chuyên nghiệp: Tuyển dụng Nhân tài & Thu hút Ứng viên (Talent Acquisition). Lập kế hoạch và triển khai quy trình tuyển dụng nhân sự cho các phòng ban, tìm kiếm nguồn ứng viên tiềm năng, phỏng vấn đánh giá và đàm phán thư mời nhận việc.	[CONTEXT] Type: academic | Domain: Education | Seniority: student_club [CONTENT] Trải nghiệm cá nhân: Từng phụ trách lọc đơn đăng ký tham gia câu lạc bộ sinh viên và gửi email mời phỏng vấn cho các bạn tân sinh viên dạng Kỹ thuật Phỏng vấn Đánh giá Năng lực STAR.	0.376
  [CONTEXT] Domain: LOGISTICS_SUPPLY_CHAIN | Environment: Trung tâm Phân phối Kho vận E-Logistics [CONTENT] Yêu cầu vị trí Thủ tục Xuất Nhập Khẩu & Chứng từ Hải quan. Yêu cầu nắm vững luật hải quan, biểu thuế xuất nhập khẩu, quy trình thông quan tại cảng biển/sân bay và đàm phán hợp đồng với các hãng tàu vận chuyển.	[CONTEXT] Type: professional_employment | Domain: HUMAN_RESOURCES_ADMIN | Seniority: c_and_b_lead [CONTENT] Kinh nghiệm thực chiến: Xây dựng nguồn ứng viên thụ động trên các nền tảng mạng xã hội việc làm, áp dụng phương pháp phỏng vấn chuyên nghiệp Headhunting Nhân sự Cấp cao đạt tỷ lệ đỗ thử việc 95%.	0.115
  [CONTEXT] Domain: SALES_BUSINESS_DEVELOPMENT | Environment: Tập đoàn Bất động sản [CONTENT] Yêu cầu nghiệp vụ: Kinh doanh B2B & Phát triển Khách hàng Doanh nghiệp. Tìm kiếm và xây dựng mối quan hệ đối tác với các khách hàng doanh nghiệp, tư vấn giải pháp, đàm phán thương mại và thúc đẩy ký kết hợp đồng.	[CONTEXT] Type: professional_employment | Domain: SALES_BUSINESS_DEVELOPMENT | Seniority: business_development_lead [CONTENT] Thành tựu & Bằng chứng thực tế: Đã từng Đã tiếp cận và ký kết thành công hơn 25 hợp đồng doanh nghiệp lớn trị giá trên 5 tỷ đồng thông qua kỹ năng Quản lý Tài khoản Khách hàng Lớn (Key Account), vượt 130% KPI doanh số năm.	0.911

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• per_device_train_batch_size: 32
• num_train_epochs: 3
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 32
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 4.4 minutes
• Evaluation: 42.7 seconds
• Total: 5.1 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.13.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@article{10531646,
    author={Huang, Xiang and Peng, Hao and Zou, Dongcheng and Liu, Zhiwei and Li, Jianxin and Liu, Kay and Wu, Jia and Su, Jianlin and Yu, Philip S.},
    journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing},
    title={CoSENT: Consistent Sentence Embedding via Similarity Ranking},
    year={2024},
    doi={10.1109/TASLP.2024.3402087}
}