SentenceTransformer based on mhaseeb1604/bge-m3-law

This is a sentence-transformers model finetuned from mhaseeb1604/bge-m3-law. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: mhaseeb1604/bge-m3-law
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ychafiqui/bge-m3-law-morocco-ar-emb")
# Run inference
sentences = [
    'أنا صاحب مشروع وتلقيت إشعاراً بمخالفة بناء استناداً إلى المادة 7 من القانون رقم 52.09 كما عدلتها المادة الثانية من القانون رقم 85.21. هل تُطبق هذه التعديلات على المادة 7 اعتباراً من تاريخ صدور القانون 85.21 أم أنها تنطبق فقط على المخالفات اللاحقة؟ كما أن المادة 8 من القانون رقم 52.09 جرت تعديلها وفق المادة الثانية من القانون 85.21، ما التغييرات الجوهرية في الإجراءات والعقوبات التي قد تترتب على ذلك؟ ما هي الخيارات والإجراءات للطعن في القرار المستند إلى هاتين المادتين المعدلتين، وما المواعيد النهائية للطعن بموجب القانون 85.21؟',
    'المادة 7 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. 8 - تممت وغيرة أحكام المادة 8 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. -8-',
    'أقدم على إغلاق مؤسسة  يعاقب بغرامة من 15.000 إلى 30.000 درهم كل مؤسس\n\nللرعاية الاجتماعية، دون التصريح بذلك مسبقا لدى الإدارة المختصة وفقا لأحكام المادة 32\n\nأعلاه.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7232, 0.0653],
#         [0.7232, 1.0000, 0.0178],
#         [0.0653, 0.0178, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,200 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 12 tokensmean: 129.74 tokensmax: 256 tokens	min: 2 tokensmean: 127.35 tokensmax: 256 tokens

• Samples:

  sentence_0	sentence_1
  في عقد تأمين، تُطبق فقرة المادة 21 الثالثة عند عدم دفع القسط المستحق قبل انتهاء مهلة العشرة أيام. إذا لم يدفع المؤمن له القسط أو جزء منه قبل انقضاء مهلة العشرة أيام، فهل يصبح فسخ العقد ساري المفعول عند انتهاء هذه المهلة؟ عندما يقرر الفسخ، يجب تبليغه للمؤمن له بواسطة رسالة مضمونة. وتعتبر سريان الفسخ في نهاية اليوم الثلاثين الموالي لتاريخ توجيه الإنذار المنصوص عليه في المادة 21. غير أنه عندما يكون الإنذار موجهاً خارج المغرب، لا يصير سريان الفسخ إلا في نهاية اليوم الخمسين الموالي لتاريخ توجيه الرسالة. بناءً على ذلك، ما النصيحة القانونية أو التفسير الصحيح للمدة والسريان في هذه الحالة؟	لا يصير فسخ العقد ساري المفعول في حالة تطبيق الفقرة الثالثة من المادة 21 أعلاه إلاإذا لم يؤد القسط أو الجزء من القسط قبل انصرام أجل العشرة )10( أيام المنصوص عليه فيالفقرة الثالثة من المادة 21 أعلاه.يصير الفسخ، الذي يجب تبليغه للمؤمن له بواسطة رسالة مضمونة، ساري المفعول فينهاية اليوم الثلاثين )30( الموالي لتاريخ توجيه رسالة الإنذار المنصوص عليها في المادة 21أعلاه. غير أنه عندما يكون الإنذار موجها خارج المغرب، لا يصير الفسخ ساري المفعول إلافي نهاية اليوم الخمسين )50( الموالي لتاريخ توجيه الرسالة المذكورة.
  إذا قمت بتشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل، ما هي العقوبة المحتملة وفق المادة المذكورة؟ وإذا لم أؤد الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعلي وفق المادة 218، ما العقوبة وكيف يمكنني تعويض الأجراء؟ إذا لم أقدّر التعويض وفق أحكام المادة 219 ولم أؤدِ التعويض المنصوص عليه في المادة 224 للأجراء الذين اشتغلوا يوم عطلة كما تشير المادة 223، ما التداعيات القانونية؟ وإذا تكررت المخالفات على عدد من الأجراء وتراكمت الغرامات حتى يصل المجموع إلى 20,000 درهم، كيف يتم تطبيق العقوبات وتحديد الأجراء المشمولين؟	يعاقب بغرامة من 300 إلى 500 درهم عن الأفعال التالية:- تشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل؛- عدم أداء الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعليطبقا للمادة 218؛- عدم تقدير التعويض وفق أحكام المادة 219؛- عدم أداء التعويض المنصوص عليه في المادة 224 إلى أجراء المؤسسات المشارإليها في المادة 223 الذين اشتغلوا يوم عطلة يتعطل فيه الشغل ويؤدى عنه الأجر؛- عدم إتاحة الراحة التعويضية المنصوص عليها في الفقرة الثانية من المادة 224 وفيالمادة 225، أو إتاحتها على نحو يخالف أحكام المادتين المذكورتين؛- عدم أداء التعويض المنصوص عليه في المادة 226؛- استدراك ساعات الشغل الضائعة بسبب عطلة، وفق شروط تخالف أحكام الفقرتينالأولى والثانية من المادة 227؛- عدم إبلاغ العون المكلف بتفتيش الشغل بالتواريخ التي تقرر فيها مباشرة الاستدراك،أو إعلام العون المكلف بالتفتيش، على نحو يخالف أحكام الفقرة الأخيرة من المادة 227؛- الأداء عن ساعات الشغل المستدركة، على نحو يخالف أحكام المادة 228؛تتكرر عقوبات الغرامة بتعدد الأجراء الذين لم يراع في حقهم تطبيق أحكام ه...
  أنا أمين أوقاف أحلت إلى المجلس حساب أوقاف مع الوثائق المشار إليها في الفقرات 3 و4 من المادة 150 من مدونة الأوقاف. وأرفقت بجانب الحساب جميع الملاحظات التي ترى إدارة الأوقاف فائدة في إبدائها لتوضيح وتدقيق الحساب. هل يلتزم المجلس بإجراء التدقيق وفق هذه الوثائق والملاحظات أم له سلطة رفض بعضها وتحديد ما يحتاجه التدقيق؟ كما أن عنوان الفرع الثاني من الفصل الثاني من الباب الثالث تغير بموجب المادة 2 من الظهير الشريف رقم 1.19.47، فهل لهذا التغيير أثر على تطبيق مواد التدقيق والحساب؟ وفي حال وجود تغييرات إضافية بموجب المادة الأولى من الظهير الشريف نفسه، كيف ينبغي لممثلي الأوقاف تعديل أو مواكبة الحساب المعروض للمجلس لضمان مطابقته للنص المعدل؟	يرفق حساب الأوقاف المحال إلى المجلس بالوثائق المشار إليها في الفقرتين الثالثةوالرابعة من المادة 150 من مدونة الأوقاف، وعند الاقتضاء، بجميع الملاحظات التي ترىإدارة الأوقاف فائدة في إبدائها، أومن شأنها تقديم توضيحات تساعد المجلس على تدقيقحساب الأوقاف المعروض عليه.26 - تم تغيير عنوان الفرع الثاني من الفصل الثاني من الباب الثالث بموجب المادة الثانية من الظهير الشريف رقم1.19.47 السالف الذكر.27 - تم تغيير وتتميم هذه المادة بموجب المادة الأولى من الظهير الشريف رقم1.19.47 بمقتضى المادة الأولى منالظهير الشريف رقم 1.19.47 السالف الذكر.28 - تم تغيير الفقرة الأولى من وتتميم المادة 66 بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالفالذكر.29 - تم تغيير وتتميم المادة بمقتضى المادة الأولى من الظهير الشريف رقم 1.19.47 السالف الذكر.30 - تم تغيير وتتميم هذه المادة بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالف الذكر.- 22 -

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.3
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}