SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'görevli mahkeme hakkında ORICON kaynağına göre ne söylenebilir?',
    'Hem uygulama işlemine hem de düzenleyici işleme karşı birlikte dava açıldığında, görevli mahkeme hiyerarşik olarak üst sırada yer alan işleme göre tespit edilecektir. Uygulama işlemiyle birlikte düzenleyici işleme karşı dava açılırken sürenin canlanabilmesi için, uygulama işlemine karşı süresi içinde dava açılmış olması şarttır.',
    'İstihkak davasındaki dengeli ispat yükü, hem davacının mülkiyet hakkını koruma hem de davalının geçerli haklarını savunma açısından adil bir çözüm sağlamayı amaçlar.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6767, 0.1154],
#         [0.6767, 1.0000, 0.2171],
#         [0.1154, 0.2171, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,059 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1
  type	string	string
  modality	text	text
  details	min: 14 tokensmean: 25.25 tokensmax: 81 tokens	min: 19 tokensmean: 178.93 tokensmax: 512 tokens

• Samples:

  sentence_0	sentence_1
  boşanma hakkında ORICON kaynağına göre ne söylenebilir?	Boşanma, ayrılık veya evliliğin butlanına karar verilmesi durumlarında, müşterek çocuğun ve/veya çocukların velayeti eşlerden birine bırakılır. Velayet kendisine bırakılmayan eş, velayet kendisine bırakılan eşe, müşterek çocuğun bakım, eğitim ve sağlık giderleri için gücü oranında aylık ödemesi gereken paraya iştirak nafakası denir. İştirak nafakası, boşanma kararının kesinleşmesinden itibaren ödenen bir nafaka türüdür. Boşanma davası sürerken tedbir nafakası ödenebilir ve bu nafakanın amacı, müşterek çocuğun bakım, eğitim ve sağlık giderlerinin karşılanmasıdır. İştirak nafakası, boşanma davası kesinleştikten sonra ödenirken, tedbir nafakası boşanma davası sürerken hükmedilen bir nafaka türüdür. Tedbir nafakasının hükmedilmesi için boşanma davasının sürmesi ve müşterek çocuğun giderlerinin oluşması gereklidir. İştirak nafakası ile birçok benzer niteliğe sahip olan tedbir nafakası konusunu 'Tedbir Nafakası ve Şartları' başlıklı yazımızda detaylıca inceleyebilirsiniz. İştirak nafakası, ç...
  Borçlar Hukuku alanında D. Bağışlayanın sorumluluğu hakkında kaynak ne söylüyor?	MADDE 294- Bağışlayan, bağışlamadan doğan zarardan bu zarara ağır kusuruyla.sebep olmadıkça, bağışlanana karşı sorumlu değildir.Bağışlayan, bağışlanılan şey veya alacak hakkında ayrıca garanti sözü vermişse, bununla.sorumlu olur.E. Bağışlamanın ortadan kalkması
  Hukuk Genel Kurulu 2013/1513 E., 2015/891 K. sayılı Yargıtay HGK kararında İhalenin Feshi uyuşmazlığı bakımından temel değerlendirme nedir?	Somut olayın incelenmesinde; icra müdürlüğünce 22.03.2011 tarihli satış kararında “gazete ilanına” karar verildiği, ancak aynı müdürlükçe Basın İlan Kurumuna yazılan yazıda ise “Türkiye çapında yayınlanan gazetelerin birinde” ilanın yapılmasının istendiği, muhammen bedeli 40.000 TL olarak belirlenen taşınır malın ikinci artırmada 26.500 TL’ye ihale edildiği anlaşılmaktadır. Yukarıda yapılan açıklamaların ışığında, icra müdürlüğünce satış ilanının gazete ile yapılmasına karar verildiği, Basın İlan Kurumuna yazılan müzekkerede Türkiye çapında yayımlanan gazetede ilanı istenmiş ise de, asıl olanın icra müdürlüğünün kararı olduğu bu nedenle, ilanın icra müdürlüğünün takdirinde yer alan şekle uygun yapıldığı açık olup, mahkemece, satış ilanının yayımlandığı gazetenin tirajının ellibinin altında olduğu gerekçesiyle ihalenin feshine karar verilmesi isabetsizdir. Öte yandan, ilk artırmaya katılım olmaması ancak ikinci artırmaya katılım ile menkulün muhammen bedelinin %40'ını aşan bir değere al...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• num_train_epochs: 1
• fp16: True
• per_device_eval_batch_size: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• per_device_train_batch_size: 4
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 4
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Time

• Training: 9.3 minutes

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.5.0
• Transformers: 5.8.1
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.8.5
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}