SentenceTransformer based on jinaai/jina-embeddings-v5-text-nano-retrieval

This is a sentence-transformers model finetuned from jinaai/jina-embeddings-v5-text-nano-retrieval. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: jinaai/jina-embeddings-v5-text-nano-retrieval
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'EuroBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("justifit/DARv2", trust_remote_code=True)
# Run inference
queries = [
    "Query: Davide vuole costruire contro un muro che il vicino ha costruito a meno di 1,5 metri dal confine. Pu\u00f2 chiedere la comunione del muro?",
]
documents = [
    "Art. 875.\n(Comunione forzosa del muro che non e' sul confine).\nQuando il muro si trova a una distanza dal confine minore di un metro e mezzo ovvero a distanza minore della meta' di quella stabilita dai regolamenti locali, il vicino puo' chiedere la comunione del muro soltanto allo scopo di fabbricare contro il muro stesso, pagando, oltre il valore della meta' del muro, il valore del suolo da occupare con la nuova fabbrica, salvo che il proprietario preferisca estendere il suo muro sino al confine.\nIl vicino che intende domandare la comunione deve interpellare preventivamente il proprietario se preferisca di estendere il muro al confine o di procedere alla sua demolizione. Questi deve manifestare la propria volonta' entro un termine di giorni quindici e deve procedere alla costruzione o alla demolizione entro sei mesi dal giorno in cui ha comunicato la risposta.\n",
    "Articolo 9\nTrattamento di categorie particolari di dati personali\n1. È vietato trattare dati personali che rivelino l'origine razziale o etnica, le opinioni politiche, le convinzioni religiose o filosofiche, o l'appartenenza sindacale, nonché trattare dati genetici, dati biometrici intesi a identificare in modo univoco una persona fisica, dati relativi alla salute o alla vita sessuale o all'orientamento sessuale della persona.\n2. Il paragrafo 1 non si applica se si verifica uno dei seguenti casi:\na) l'interessato ha prestato il proprio consenso esplicito al trattamento di tali dati personali per una o più finalità specifiche, salvo nei casi in cui il diritto dell'Unione o degli Stati membri dispone che l'interessato non possa revocare il divieto di cui al paragrafo 1;\nb) il trattamento è necessario per assolvere gli obblighi ed esercitare i diritti specifici del titolare del trattamento o dell'interessato in materia di diritto del lavoro e della sicurezza sociale e protezione sociale, nella misura in cui sia autorizzato dal diritto dell'Unione o degli Stati membri o da un contratto collettivo ai sensi del diritto degli Stati membri, in presenza di garanzie appropriate per i diritti fondamentali e gli interessi dell'interessato;\nc) il trattamento è necessario per tutelare un interesse vitale dell'interessato o di un'altra persona fisica qualora l'interessato si trovi nell'incapacità fisica o giuridica di prestare il proprio consenso;\nd) il trattamento è effettuato, nell'ambito delle sue legittime attività e con adeguate garanzie, da una fondazione, associazione o altro organismo senza scopo di lucro che persegua finalità politiche, filosofiche, religiose o sindacali, a condizione che il trattamento riguardi unicamente i membri, gli ex membri o le persone che hanno regolari contatti con la fondazione, l'associazione o l'organismo a motivo delle sue finalità e che i dati personali non siano comunicati all'esterno senza il consenso dell'interessato;\ne) il trattamento riguarda dati personali resi manifestamente pubblici dall'interessato;\nf) il trattamento è necessario per accertare, esercitare o difendere un diritto in sede giudiziaria o ogniqualvolta le autorità giurisdizionali esercitino le loro funzioni giurisdizionali;\ng) il trattamento è necessario per motivi di interesse pubblico rilevante sulla base del diritto dell'Unione o degli Stati membri, che deve essere proporzionato alla finalità perseguita, rispettare l'essenza del diritto alla protezione dei dati e prevedere misure appropriate e specifiche per tutelare i diritti fondamentali e gli interessi dell'interessato;\nh) il trattamento è necessario per finalità di medicina preventiva o di medicina del lavoro, valutazione della capacità lavorativa del dipendente, diagnosi, assistenza o terapia sanitaria o sociale ovvero gestione dei sistemi e servizi sanitari o sociali sulla base del diritto dell'Unione o degli Stati membri o conformemente al contratto con un professionista della sanità, fatte salve le condizioni e le garanzie di cui al paragrafo 3;\ni) il trattamento è necessario per motivi di interesse pubblico nel settore della sanità pubblica, quali la protezione da gravi minacce per la salute a carattere transfrontaliero o la garanzia di parametri elevati di qualità e sicurezza dell'assistenza sanitaria e dei medicinali e dei dispositivi medici, sulla base del diritto dell'Unione o degli Stati membri che prevede misure appropriate e specifiche per tutelare i diritti e le libertà dell'interessato, in particolare il segreto professionale;\nj) il trattamento è necessario a fini di archiviazione nel pubblico interesse, di ricerca scientifica o storica o a fini statistici in conformità dell'articolo 89, paragrafo 1, sulla base del diritto dell'Unione o nazionale, che è proporzionato alla finalità perseguita, rispetta l'essenza del diritto alla protezione dei dati e prevede misure appropriate e specifiche per tutelare i diritti fondamentali e gli interessi dell'interessato.\n3. I dati personali di cui al paragrafo 1 possono essere trattati per le finalità di cui al paragrafo 2, lettera h), se tali dati sono trattati da o sotto la responsabilità di un professionista soggetto al segreto professionale conformemente al diritto dell'Unione o degli Stati membri o alle norme stabilite dagli organismi nazionali competenti o da altra persona anch'essa soggetta all'obbligo di segretezza conformemente al diritto dell'Unione o degli Stati membri o alle norme stabilite dagli organismi nazionali competenti.\n4. Gli Stati membri possono mantenere o introdurre ulteriori condizioni, comprese limitazioni, con riguardo al trattamento di dati genetici, dati biometrici o dati relativi alla salute.\n",
    "Sezione II. Contenuto e modalità di esecuzione degli obblighi\nIn caso di utilizzo dei soggetti terzi previsti alla lettera a) della Sezione I, gli obblighi di adeguata verifica si considerano soddisfatti attraverso un'idonea attestazione rilasciata dal terzo che abbia provveduto ad adempierli direttamente in relazione alla costituzione di un rapporto continuativo ovvero all'esecuzione di un'operazione occasionale.\nL'attestazione è chiaramente riconducibile al terzo attestante, attraverso accorgimenti idonei (sottoscrizione da parte del personale a ciò autorizzato, invio con sistemi informatici, ecc.), ed è trasmessa dal terzo attestante e non dal cliente.\nPer standardizzare il processo di acquisizione delle informazioni, il destinatario può predisporre una specifica modulistica per il rilascio delle attestazioni.\nL'attestazione conferma espressamente il corretto adempimento degli obblighi antiriciclaggio da parte dell'attestante, in relazione alle varie attività effettuate. Il contenuto dell'attestazione varia a seconda dello specifico obbligo di adeguata verifica cui essa è diretta; in base a tale criterio, essa contiene:\na) i dati identificativi del cliente, dell'esecutore e del titolare effettivo ai fini dell'adempimento dell'obbligo di identificazione;\nb) l'indicazione delle tipologie delle fonti utilizzate per l'accertamento e per la verifica dell'identità;\nc) le informazioni sulla natura e sullo scopo del rapporto da aprire e dell'operazione occasionale da eseguire ai fini dell'adempimento del relativo obbligo.\nIl destinatario si assicura che, oltre all'attestazione, i terzi siano in grado di trasmettere tempestivamente copia dei documenti e delle informazioni acquisiti, quando il destinatario ne faccia richiesta.\nL'attestazione può essere resa in forma cartacea o informatica, in via autonoma ovvero in connessione con specifiche operazioni.\nIl destinatario rimane responsabile dell'adeguata verifica e valuta se gli elementi raccolti e le verifiche effettuate dai soggetti terzi siano aggiornati, idonei e sufficienti per l'assolvimento degli obblighi previsti dalla legge. In caso contrario il destinatario provvede, a seconda dei casi e delle circostanze, a:\n- informare il terzo attestante delle eventuali irregolarità, carenze o incongruenze riscontrate nella documentazione ricevuta;\n- apportare le necessarie rettifiche o integrazioni;\n- adempiere in via diretta agli obblighi di adeguata verifica;\n- astenersi dall'instaurare il rapporto continuativo o dall'eseguire l'operazione, valutando se effettuare una segnalazione alla UIF se ricorrono i presupposti previsti all'articolo 35 del decreto antiriciclaggio (la scelta di cui al presente alinea è assunta, in particolare, quando l'intermediario si trova nell'impossibilità di rispettare gli obblighi di adeguata verifica).\nIn caso di utilizzo di soggetti terzi che possono effettuare solo l'identificazione del cliente (cfr. Sezione I, lettera b), il destinatario assicura che i terzi gli trasmettano in ogni caso i dati e le informazioni acquisiti, affinché il destinatario stesso possa completare la procedura di adeguata verifica (21).\nNell'ambito delle modalità di raccolta e scambio delle informazioni con i terzi, il destinatario:\n- definisce le fasi dell'adeguata verifica demandate ai terzi, individua i dati e le informazioni che è necessario siano trasmesse dai terzi e le modalità e la tempistica della trasmissione;\n- predispone strumenti, in formato cartaceo o elettronico, per lo scambio tempestivo dei flussi informativi;\n- verifica la veridicità dei documenti ricevuti e la correttezza e attendibilità delle informazioni da essi desunte;\n- acquisisce, ove necessario, informazioni supplementari, dai terzi, dal cliente ovvero da altre fonti.\n",
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.8164, -0.0583, -0.0664]])

Evaluation

Metrics

Information Retrieval

• Dataset: valid
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 48,119 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 18 tokensmean: 46.11 tokensmax: 133 tokens	min: 6 tokensmean: 376.22 tokensmax: 2048 tokens

• Samples:

  anchor	positive
  Query: In quali specifici casi il pubblico ministero è autorizzato a procedere al giudizio direttissimo ai sensi del testo fornito?	9. Il pubblico ministero puo', altresi', procedere al giudizio direttissimo nei casi previsti dall'art. 449, commi 4 e 5.".9. Il pubblico ministero puo', altresi', procedere al giudizio direttissimo nei casi previsti dall'art. 449, commi 4 e 5.".
  Query: Qual è il compito del Garante per la protezione dei dati personali in relazione alle autorizzazioni generali già adottate, secondo il decreto di adeguamento al Regolamento (UE) 2016/679?	Articolo 58Poteri1. Ogni autorità di controllo ha tutti i poteri di indagine seguenti:a) ingiungere al titolare del trattamento e al responsabile del trattamento e, ove applicabile, al rappresentante del titolare del trattamento o del responsabile del trattamento, di fornirle ogni informazione di cui necessiti per l'esecuzione dei suoi compiti;b) condurre indagini sotto forma di attività di revisione sulla protezione dei dati;c) effettuare un riesame delle certificazioni rilasciate in conformità dell'articolo 42, paragrafo 7;d) notificare al titolare del trattamento o al responsabile del trattamento le presunte violazioni del presente regolamento;e) ottenere, dal titolare del trattamento o dal responsabile del trattamento, l'accesso a tutti i dati personali e a tutte le informazioni necessarie per l'esecuzione dei suoi compiti; ef) ottenere accesso a tutti i locali del titolare del trattamento e del responsabile del trattamento, compresi tutti gli strumenti e mezzi di trattamen...
  Query: Quali sono i presupposti sostanziali e le condizioni di esclusione necessari affinché due persone maggiorenni siano qualificate come conviventi di fatto ai fini delle disposizioni applicabili?	Note all'art. 42: - Per l'articolo 344-bis del codice di procedura penale si vedano le note all'articolo 16. - Si riporta il testo dell'articolo1, commi 2 e 36, della legge 20 maggio 2016, n. 76 (Regolamentazione delle unioni civili tra persone dello stesso sesso e disciplina delle convivenze): "Art. 1. - 1. (Omissis). 2. Due persone maggiorenni dello stesso sesso costituiscono un'unione civile mediante dichiarazione di fronte all'ufficiale di stato civile ed alla presenza di due testimoni.". 3.- 35. (Omissis). 36. Ai fini delle disposizioni di cui ai commi da 37 a 67 si intendono per «conviventi di fatto» due persone maggiorenni unite stabilmente da legami affettivi di coppia e di reciproca assistenza morale e materiale, non vincolate da rapporti di parentela, affinita' o adozione, da matrimonio o da un'unione civile. 37. - 69. (Omissis).".Note all'art. 42: - Per l'articolo 344-bis del codice di procedura penale si vedano le note all'articolo 16. - Si riporta il testo dell'articolo1,...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 803 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 803 samples:

  	anchor	positive
  type	string	string
  details	min: 16 tokensmean: 61.19 tokensmax: 112 tokens	min: 33 tokensmean: 793.86 tokensmax: 2048 tokens

• Samples:

  anchor	positive
  Query: L’usucapione si interrompe se chi possiede perde il possesso per più di un anno?	Art. 1167.(Interruzione dell'usucapione per perdita di possesso).L'usucapione e' interrotta quando il possessore e' stato privato del possesso per oltre un anno.L'interruzione si ha come non avvenuta se e' stata proposta l'azione diretta a ricuperare il possesso e questo e' stato ricuperato.
  Query: Una società elabora dati aggregati e anonimizzati per analisi statistiche, senza raccogliere informazioni che permettano di risalire all’identità delle persone. Un utente chiede l’accesso ai propri dati. L’azienda è tenuta a fornirglieli?	Articolo 11Trattamento che non richiede l'identificazione1. Se le finalità per cui un titolare del trattamento tratta i dati personali non richiedono o non richiedono più l'identificazione dell'interessato, il titolare del trattamento non è obbligato a conservare, acquisire o trattare ulteriori informazioni per identificare l'interessato al solo fine di rispettare il presente regolamento.2. Qualora, nei casi di cui al paragrafo 1 del presente articolo, il titolare del trattamento possa dimostrare di non essere in grado di identificare l'interessato, ne informa l'interessato, se possibile. In tali casi, gli articoli da 15 a 20 non si applicano tranne quando l'interessato, al fine di esercitare i diritti di cui ai suddetti articoli, fornisce ulteriori informazioni che ne consentano l'identificazione.
  Query: Giovanni, infastidito dal cane del vicino che abbaia di continuo, lo avvelena. Non aveva alcuna necessità di farlo. Ha commesso un reato?	Art. 638.(Uccisione o danneggiamento di animali altrui) Chiunque senza necessità uccide o rende inservibili o comunque deteriora animali che appartengono ad altri è punito, salvo che il fatto costituisca più grave reato, a querela della persona offesa, con la reclusione fino a un anno o con la multa fino a lire tremila.La pena è della reclusione da sei mesi a quattro anni, e si procede d'ufficio, se il fatto è commesso su tre o più capi di bestiame raccolti in gregge o in mandria, ovvero su animali bovini o equini, anche non raccolti in mandria.Non è punibile chi commette il fatto sopra volatili sorpresi nei fondi da lui posseduti e nel momento in cui gli recano danno.(7) (96) (125) ((233))------------AGGIORNAMENTO (7)Il D.Lgs. Luogotenenziale 10 maggio 1945, n. 234 ha disposto (con l'art. 4, comma 1) che "Salvo quanto disposto negli articoli precedenti, le pene previste per i reati contemplati nel libro secondo, titolo sesto, capo primo, e titolo tredicesimo, capo primo del Cod...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 768
• per_device_eval_batch_size: 64
• learning_rate: 3.5e-05
• weight_decay: 0.01
• num_train_epochs: 40
• warmup_steps: 5
• log_level: debug
• save_only_model: True
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 768
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3.5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 40
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: 0.0
• warmup_steps: 5
• log_level: debug
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: True
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.11.8
• Sentence Transformers: 5.2.3
• Transformers: 4.57.6
• PyTorch: 2.6.0+cu124
• Accelerate: 1.10.1
• Datasets: 4.3.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}