SentenceTransformer based on sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-mpnet-base-v2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("gmunkhtur/finetuned_tdb_paraphrase-multilingual_mpnet_try6")
# Run inference
sentences = [
    'Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх нь юунд хохирол учруулдаг вэ?',
    'Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх гэдэг нь Монгол Улсын хууль тогтоомж, олон улсын гэрээгээр хориглосон цөмийн, химийн, биологийн эсвэл үйл олноор хөнөөх бүх төрлийн зэвсгийг үйлдвэрлэх, ашиглах, худалдах, худалдан авахад санхүүгийн дэмжлэг үзүүлэхийг хэлнэ. Үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх нь олон улсын энх тайван, аюулгүй байдал, хүний амь нас, амьдрах орчинд асар их хохирол учруулдаг учраас энэ төрлийн гэмт хэргийг санхүүжүүлж болзошгүй мөнгөн хөрөнгийн шилжилт хөдөлгөөнийг илрүүлж, таслан зогсоох нь банкны хувьд маш чухал юм.\n\n**САНХҮҮГИЙН ГЭМТ ХЭРЭГ ГЭЖ ЮУ ВЭ?**\nЭнэ хэсэгт үй олноор хөнөөх зэвсэг дэлгэрүүлэхийг санхүүжүүлэх гэж юу болох, мөн санхүүгийн гэмт хэргийн тухай тодорхойлолтыг оруулсан байна.\n',
    'Тус банк нь Forbes Mongolia Women’s Summit 2022 форумд ерөнхий ивээн тэтгэгчээр ажиллаж, Шотланд улсын Эдинбургийн их сургуулийн оюутнуудтай хамтран "Ногоон" банк болох талаар судалгаа хийсэн. Visa International-тай хамтран ОУ-ын виза карт руу мөнгөн гуйвуулга илгээх Visa Direct болон Visa B2B үйлчилгээнүүдийг Монгол Улсын зах зээлд анхлан нэвтрүүлсэн. Britto Cup - 2022 хөл бөмбөгийн аварга шалгаруулах тэмцээнийг зохион байгуулж, Britto Эйнштэйн картыг зах зээлд нэвтрүүлсэн.\n\nХХБ нь Мооdу’s агентлагаас B2, Standard & Poor’s агентлагаас B+ зэрэглэлтэй бөгөөд хэтийн төлөв нь тогтвортой үнэлгээтэй. Ногоон зээлийн хөтөлбөртөө ОУ-н эдийн засгийн хамтын ажиллагааны банк (IВEC)-с 10 сая ам.долларын санхүүжилт татаж, Visa International байгууллагатай хамтын ажиллагаа эхэлсний 20 жилийн ойг тэмдэглэсэн. ОХУ-н тэргүүний банк болох Газпромбанктай "Хамтын ажиллагааны гэрээ” байгуулж, "Climate 30+ Ногоон Сэргэлтийн Хөтөлбөр”-ийг санаачлан хэрэгжүүлж байна.\nХХБ-ны 2022 оны үйл ажиллагаа, хамтын ажиллагаа, зээлжих зэрэглэл, ногоон хөтөлбөрүүдийн тухай.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,379 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokensmean: 22.09 tokensmax: 94 tokens	min: 31 tokensmean: 125.54 tokensmax: 128 tokens

• Samples:

  sentence_0	sentence_1
  Жуниор багц хэдэн насны хүүхдэд зориулагдсан бэ?	20,000₮ -с дээш худалдан авалт бүрд буцаан олголттой бөгөөд сард олгох буцаан олголтын дээд хэмжээ 200,000₮Нэмэлт боломжууд:* VISA international байгууллагаас улирал тутамд зарлагдаж буй хөнгөлөлтийн талаарх дэлгэрэнгүй мэдээллийг ЭНДдарж авна уу.### Жуниор багц 13-18 насДараах байгууллагуудын ХХБ-ны пос төхөөрөмж дээр уншуулснаар буцаан олголт эдлэх боломжтой.Кидс багцын хөнгөлөлт урамшууллын жагсаалтын дараа Жуниор багцын хөнгөлөлт урамшуулал эхэлж байна.
  Байгууллагын багцуудын давуу талуудад шимтгэл хураамж төлөхгүй байх зэрэг ордог уу?	Монголын Худалдаа Хөгжлийн Банк байгууллагуудад зориулж төлбөр тооцооны үйлчилгээг багцалсан дөрвөн төрлийн багц бүтээгдэхүүн санал болгож байна. Эдгээр багцууд нь санхүүгийн хэрэгцээт үйлчилгээг нэг дор авах, байгууллагын хэрэглээнд тохирсон төрлийг сонгох, санхүүгийн гүйлгээнд зарцуулах цагийг хэмнэх, шимтгэл хураамж төлөхгүй байх зэрэг давуу талуудтай. Мөн санхүүгийн бүртгэл тооцоог хялбаршуулах, цахим банк руу шилжих, гүйлгээг цахимаар зайнаас шийдэх, цахим үйлчилгээг хөнгөлөлттэй нөхцөлөөр авах, санхүүгийн зөвлөх үйлчилгээ авах боломжуудыг олгодог.Энэ хэсэгт байгууллагын багц бүтээгдэхүүний гол санаа, давуу талуудыг тодорхойлсон.
  Хүүхдийн багц гэж юу вэ?	# Хүүхдийн багцТаны хүүхдийн санхүүгийн хэрэгцээнд тохирсон үйлчилгээг нэг дор багтаасанХүүхдийн санхүүгийн багцын тухай ерөнхий танилцуулга.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 10
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.2
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}