SentenceTransformer based on distilbert/distilroberta-base

This is a sentence-transformers model finetuned from distilbert/distilroberta-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: distilbert/distilroberta-base
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("msbayindir/legal-text-embedding-turkish-v1")
# Run inference
sentences = [
    'Davacı vekili dava dilekçesinde özetle; sıra nolu tutarlı çek ( İbraz tarihi sıra nolu tutarlı çek ( İbraz tarihi sıra nolu keşide tarihi çeklerin zayi olduğundan bahisle çeklerin iptaline karar verilmesini talep ve dava etmiştir.',
    'Davacı vekili dava dilekçesinde özetle; müvekkillerinin her türlü ticari defter ve kayıtlarının tutulduğu bilgisayarların bilişim sistemlerine girme saldırısı yaşadığını, şirketlerin tüm verilerinin hacklendiğini beyanla; TTK 82/7. Maddesi uyarınca 2020 yılı Nisan ayından itibaren tutulan tüm defter, fatura ve sair belgelerin zayi olduğunun tespitine karar verilmesini talep ve dava etmiştir.',
    "Davacı vekili dava dilekçesinde özetle; bank A.Ş. Şubesine ait 2 adet çekin müvekkilin elinde kaybolduğunu, çekin yetkili hamilinin müvekkil olduğunu, müvekkilin borçlu Dış Ticaret Ve San. Ltd. Şti.'ne haksız bir ödeme yapmak zorunda kalarak zarara uğramaması için çek hakkında ödeme yasağı kararı verilmesi gerektiğini, teslim alındığı sırada çek fotoğrafının müvekkil tarafından saklandığını, bu nedenlerle 2 adet çeke teminat karşılığında ödemeden men yasağı kararı verilmesine, yargılama sonunda da çekin kaybolması nedeniyle iptaline karar verilmesini talep ve dava etmiştir.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: tr-dev
• Evaluated with EmbeddingSimilarityEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 23,103 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 23 tokensmean: 174.44 tokensmax: 256 tokens	min: 35 tokensmean: 173.08 tokensmax: 256 tokens	min: 0.13mean: 0.6max: 1.0

• Samples:

  sentence1	sentence2	score
  Davacı vekili dava dilekçesinde özetle, müvekkilinin elinde bulanan ve keşidecisinin müvekkili olduğunu beyan ettiği 3 adet çekin zayi olduğunu, ilgili çekler üzerine ihtiyati tedbir ile ödemeden men yasağı kararı verilmesini ve dava konusu çeklerin iptaline karar verilmesini talep ve dava etmiştir.	Davacı vekili dava dilekçesinde özetle; müvekkillerinin her türlü ticari defter ve kayıtlarının tutulduğu bilgisayarların bilişim sistemlerine girme saldırısı yaşadığını, şirketlerin tüm verilerinin hacklendiğini beyanla; TTK 82/7. Maddesi uyarınca 2020 yılı Nisan ayından itibaren tutulan tüm defter, fatura ve sair belgelerin zayi olduğunun tespitine karar verilmesini talep ve dava etmiştir.	0.5695858597755432
  Davacı vekili dava dilekçesinde özetle; bank Şubesine ait, Keşidecisi Tic. A.Ş. olan, Seri Numaralı, 24.01.2015 keşide tarihli, 25.000 TL bedelli, bank Şubesine ait, Keşidecisi Tic. A.Ş. olan Seri Numaralı, 24.02.2015 keşide tarihli, 25.000 TL bedelli ve bank Şubesine ait, Keşidecisi A.Ş. olan Seri Numaralı, 29.12.2010 keşide tarihli, 5.000 TL bedelli çeklerin kaybolduğunu, bu nedenle çeklerin iptaline karar verilmesini talep ve dava etmiştir.	Davacı vekili dava dilekçesinde özetle; müvekkilin Bankası Şubesi'ne ait 26.500,00 TL lik çeki zilyedinde iken kaybettiğini, çeki tüm aramalarına rağmen bulamadığını, çekin yetkili hamili ve lehtarı olduğunu, bu nedenlerle çek üzerine ödeme yasağı konulmasını, çekin iptaline karar verilmesini talep ve dava etmiştir.	0.74713134765625
  Davacı vekili dava dilekçesinde özetle; müvekkili şirketin keşidecisi, Bankası Şubesi'nin aval veren , dava dışı Tekstil San. Ve Tic. Ltd.Şti'nin muhatabı olduğu 15/06/2017 tarih 103.000,00 TL bedelli ve 21/06/2018 vade tarihli poliçenin müvekkilinin elinde iken kaybolduğunu, poliçe aslının yapılan tüm aramalara rağmen şirket kasasında bulunamadığını, dava konusu poliçe bedelinin ödenmesinin tedbiren önlenmesini ,yargılama sonunda TTK 757 md gere- ğince zayi nedeniyle poliçenin iptalini talep ve dava etmiştir.	İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.	0.4938291609287262

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 5,776 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 23 tokensmean: 177.14 tokensmax: 256 tokens	min: 31 tokensmean: 171.69 tokensmax: 256 tokens	min: 0.07mean: 0.6max: 1.0

• Samples:

  sentence1	sentence2	score
  Davacı vekili dava dilekçesinde özetle; Müvekkili şirkete sonucu ciro yolu ile verilen, zayi olduğunu, müvekkilinin haklı ve yasal hamili bulunduğu sırada zayi edilen bu çeklerin kötüniyetli üçüncü şahısların eline geçmesi ve müvekkilinin mağdur duruma düşürülmesi mümkün olduğundan zayi edilen bu çek bedelleri üzerine öncelikle ödeme yasağı tesis edilmesine ve bilahare çeklerin iptaline karar verilmesini dava ve talep etmiştir.	İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.	0.7115448713302612
  Davacı vekili dava dilekçesinde özetle; müvekkilinin dilekçe içeriğinde bildirdiği çekin yasal hamili olduğunu, çekin kaybediğildiğini belirterek çekin üzerine ödeme yasağı konulması ile çekin iptaline karar verilmesini talep ve dava etmiştir.	Kıymetli evrak zayi olduğu takdirde mahkeme tarafından iptaline karar verilebilir.Kıymetli evrakın zayi olduğu veya zıyaın ortaya çıktığı anda senet üzerinde hak sahibi olan kişi, senedin iptaline karar verilmesini isteyebilir.	0.53521329164505
  Davacı vekili dava dilekçesinde özetle; müvekkilinin dilekçe içeriğinde bildirdiği çekin yasal hamili olduğunu, çekin kaybediğildiğini belirterek çekin üzerine ödeme yasağı konulması ile çekin iptaline karar verilmesini talep ve dava etmiştir.	İradesi dışında poliçe elinden çıkan kişi, ödeme veya hamilin yerleşim yerindeki asliye ticaret mahkemesinden, muhatabın poliçeyi ödemekten menedilmesini isteyebilir.Mahkeme, ödemeyi meneden kararında muhataba, vadenin gelmesi üzerine poliçe bedelini tevdi etmeye izin verir ve tevdi yerini gösterir.	0.6673290133476257

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• num_train_epochs: 4
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}