SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: thảm nhà xinh kích thước',
    'passage: Tên sản phẩm: Thảm Cotton Vie Recycle (1,6M X 2,3M). Danh mục: Hàng trang trí. Thương hiệu: Nhà Xinh. Mô tả chi tiết: Thảm Cotton Vie Recycle từ Nhà Xinh là sự lựa chọn lý tưởng để nâng tầm không gian sống của bạn. Với kích thước 1,6M X 2,3M, chiếc thảm này không chỉ mang lại sự ấm cúng mà còn góp phần bảo vệ môi trường nhờ chất liệu cotton tái chế. Sản phẩm thuộc danh mục hàng trang trí, phù hợp với nhiều phong cách nội thất từ hiện đại đến cổ điển. Thảm có độ bền cao, dễ dàng vệ sinh và tạo cảm giác êm ái dưới chân, thích hợp cho phòng khách, phòng ngủ hay khu vực sinh hoạt chung. Thảm Cotton Vie Recycle không chỉ là vật dụng trang trí mà còn thể hiện phong cách sống xanh, ý thức bảo vệ môi trường của gia chủ.',
    'passage: Tên sản phẩm: Hộp Bút Dạ Nước GUBKT84640 12 Màu KT. Danh mục: Họa Cụ. Thương hiệu: An Ngọc Sơn. Mô tả chi tiết: Mở ra thế giới sắc màu sống động với Hộp Bút Dạ Nước GUBKT84640 12 Màu từ thương hiệu An Ngọc Sơn. Bộ bút marker này được thiết kế đặc biệt cho những người mới bắt đầu, với đầu bút chất lượng cao cho nét vẽ mượt mà, màu sắc chân thực và khả năng phối màu tinh tế. Bạn có thể dễ dàng tạo hiệu ứng đậm nhạt, pha trộn màu sắc để vẽ phong cảnh, chân dung hay làm bút nhớ. Hộp bút 12 màu với dung tích 300gr, kích thước 13 x 15 x 2 cm, rất gọn nhẹ và tiện lợi mang theo. Sản phẩm đến từ Trung Quốc, đảm bảo chất lượng vượt trội, giúp bạn thỏa sức sáng tạo và thể hiện cá tính nghệ thuật của mình. Màu sắc trẻ trung, năng động phù hợp với mọi lứa tuổi. Thông tin bổ sung: tags SAN.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.6050, -0.0742],
#         [ 0.6050,  1.0000, -0.0808],
#         [-0.0742, -0.0808,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 321,881 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	min: 6 tokensmean: 10.74 tokensmax: 15 tokens	min: 154 tokensmean: 224.09 tokensmax: 256 tokens

• Samples:

  anchor	positive
  query: quần dài nữ co giãn	passage: Tên sản phẩm: Quần Dài Ống Vểnh Cơ Bản. Danh mục: Quần nữ. Thương hiệu: YODY. Mô tả chi tiết: Sở hữu vẻ ngoài thanh lịch và hiện đại với Quần Dài Ống Vểnh Cơ Bản từ YODY. Chất liệu Double face kim cương cao cấp, với 93% Polyester và 7% Spandex, mang đến sự kết hợp hoàn hảo giữa độ bền, khả năng co giãn nhẹ và khả năng hạn chế nhăn nhàu hiệu quả. Kiểu dệt độc đáo tạo nên sự mới mẻ và thu hút cho trang phục, trong khi thành phần Spandex đảm bảo sự thoải mái và linh hoạt khi vận động. Chất liệu Polyester giúp quần giữ phom dáng tốt, dễ dàng bảo quản và luôn trông như mới. Chiếc quần này là lựa chọn lý tưởng để phối cùng nhiều loại áo, tạo nên phong cách thời trang đa dạng và tinh tế cho phái đẹp. Thông tin bổ sung: chất liệu 93% Polyester, 7%Spandex, màu Than chì 002, ĐEN 002, Navy 001, Nâu 191, kích thước/size S, M, L, XL, tags YODY, Than chì 002, ĐEN 002, Navy 001, Nâu 191.
  query: khăn lau đồ điện tử	passage: Tên sản phẩm: Khăn Giấy Đa Năng Let Green 130 Tờ. Danh mục: Giấy. Thương hiệu: Việt Nam. Mô tả chi tiết: Khăn giấy đa năng Let Green 130 tờ, kích thước 10x21cm, là sản phẩm tiện ích làm từ 100% bột giấy nguyên chất, an toàn cho sức khỏe và thân thiện với môi trường. Với thiết kế 2 lớp, giấy có độ dai, mềm mịn, thấm hút tốt và độ bền ướt cao, hương hoa dịu nhẹ không chứa hóa chất tẩy trắng độc hại. Sản phẩm lý tưởng để lau tay, lau miệng khi ăn uống, phù hợp sử dụng tại văn phòng, xe hơi hay các buổi dã ngoại. Bảo quản nơi khô ráo, thoáng mát. Thông tin bổ sung: kích thước/size 10*21Cm.
  query: áo phông thể thao suông	passage: Tên sản phẩm: Áo phông active nam dáng suông có hình in. Danh mục: Canifa Active. Thương hiệu: CANIFA. Mô tả chi tiết: Áo phông active nam dáng suông của CANIFA mang đến phong cách năng động và hiệu suất vượt trội. Thiết kế phom regular với điểm nhấn đồ họa in ngực và sau gáy đục lazer khỏe khoắn, tạo nên vẻ ngoài cá tính. Chất liệu 75% nylon và 25% spandex cao cấp đảm bảo độ co giãn tối ưu, giúp bạn vận động thoải mái và thoáng mát. Sản phẩm tích hợp nhiều tính năng ưu việt như Wicking (thấm hút mồ hôi), Anti UV (chống tia cực tím), Stretch (co giãn) và Easy care (dễ bảo quản), rất phù hợp cho các buổi tập luyện thể thao. Áo có nhiều màu sắc và kích cỡ từ S đến XXL. Thông tin bổ sung: chất liệu 75% nylon 25% spandex., màu SA083, SB001, SK010, kích thước/size S, M, L, XL, XXL, tags Áo phông ngắn tay, Áo phông, Áo thun, Canifa Active / Quần áo thể thao, Áo active, Canifa Active, Sản phẩm active, Sản phẩm Xuân Hè, Áo phông basic, Canifa cảm ơn, Áo, Không xoá SP sale check điều k...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 16,941 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 100 samples:

  	anchor	positive
  type	string	string
  modality	text	text
  details	min: 8 tokensmean: 10.91 tokensmax: 17 tokens	min: 163 tokensmean: 226.93 tokensmax: 256 tokens

• Samples:

  anchor	positive
  query: polyresin khay đá	passage: Tên sản phẩm: Khay phụ kiện | BILLSTA | nhựa polyresin/đá | họa tiết terazzo | R11xD18xC2cm. Danh mục: Đồ phụ kiện. Thương hiệu: BILLSTA. Mô tả chi tiết: Khay phụ kiện BILLSTA là điểm nhấn tinh tế cho không gian phòng tắm của bạn, mang đến sự tiện nghi và phong cách. Sản phẩm được làm từ chất liệu nhựa polyresin kết hợp đá, tạo nên họa tiết terazzo độc đáo và sang trọng. Với kích thước R11xD18xC2cm, khay lý tưởng để sắp xếp gọn gàng các vật dụng nhỏ như xà phòng, bàn chải đánh răng, hoặc các món đồ trang sức. Chất liệu bền bỉ và khả năng chống nước tốt giúp khay dễ dàng vệ sinh và duy trì vẻ đẹp theo thời gian. Khay phụ kiện BILLSTA không chỉ giúp không gian thêm ngăn nắp mà còn góp phần nâng tầm thẩm mỹ cho phòng tắm hiện đại. Thông tin bổ sung: chất liệu nhựa polyresin/đá, màu họa tiết terazzo, kích thước/size R11xD18xC2cm, tags Phòng tắm, BILLSTA.
  query: kệ sách hòa phát	passage: Tên sản phẩm: Giá sắt GS5K2. Danh mục: Giá Sắt, Kệ Siêu Thị. Thương hiệu: Nội Thất Hòa Phát. Mô tả chi tiết: Giá sắt thư viện Hòa Phát GS5K2 là lựa chọn hoàn hảo cho việc sắp xếp và lưu trữ tài liệu trong các thư viện, văn phòng. Sản phẩm được làm từ chất liệu sắt và thép cao cấp, đảm bảo độ bền vượt trội và khả năng chịu lực tốt. Với thiết kế 2 khoang sử dụng 2 mặt và 5 tầng để tài liệu, GS5K2 cung cấp không gian lưu trữ rộng rãi. Các đợt và thanh chắn có thể di động linh hoạt, cho phép người dùng dễ dàng điều chỉnh độ cao giữa các tầng, phù hợp với nhiều loại sách, hồ sơ có kích thước khác nhau, mang lại sự tiện lợi tối đa. Thông tin bổ sung: chất liệu ["sắt","thép"], tags GS5K2, giá, sắt, gs5k2, nội-thất-hòa-phát.
  query: NXB Thế Giới bán hàng	passage: Tên sản phẩm: Kỹ Năng Bán Hàng Thực Chiến. Danh mục: Bán Hàng. Thương hiệu: NXB Thế Giới. Mô tả chi tiết: Cuốn sách "Kỹ Năng Bán Hàng Thực Chiến" là cẩm nang không thể thiếu cho bất kỳ ai mong muốn chinh phục mục tiêu doanh số và tìm lại niềm vui trong công việc bán hàng. Tác giả đúc kết hơn ba năm nghiên cứu, tổng hợp các nguyên tắc, phương pháp luận và kinh nghiệm thực chiến từ vô số lần thành công lẫn thất bại khi làm việc với các seller chuyên nghiệp. Cuốn sách tập trung vào việc nâng cao hiệu quả bán hàng, đặc biệt là telemarketing/telesale trong bối cảnh khách hàng ngày càng khó tính. Các kỹ năng được trình bày dưới dạng công thức ngắn gọn, dễ nhớ, dễ áp dụng, kèm theo ví dụ thực tế từ chính tác giả và những người bán hàng thành công tại thị trường Việt Nam. Với lối diễn đạt sinh động, không sa vào lý thuyết suông, cùng các "bài văn mẫu" và kịch bản chi tiết, bạn đọc có thể thực hành ngay để cải thiện hiệu suất bán hàng và trở thành một chuyên gia thực thụ.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 5
• learning_rate: 2e-05
• warmup_steps: 0.1
• fp16: True
• per_device_eval_batch_size: 128
• load_best_model_at_end: True
• dataloader_num_workers: 4

All Hyperparameters

• per_device_train_batch_size: 128
• num_train_epochs: 5
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 128
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

• The bold row denotes the saved checkpoint.

Training Time

• Training: 1.8 hours
• Evaluation: 7.4 minutes
• Total: 1.9 hours

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.6.1
• Transformers: 5.14.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.14.0
• Datasets: 5.0.1
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}