SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the eti-embedding-training-data-2048-triplets-merged-v3 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • eti-embedding-training-data-2048-triplets-merged-v3

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("NorskHelsenett/eti-embeddinggemma-v2")
# Run inference
queries = [
    "- Hva slags hjelp kan vi f\u00e5 til tracheostomi-behandling hjemme?",
]
documents = [
    '# Forbruksmateriell\n\nHelseforetakene har ansvar for å levere nødvendig medisinsk utstyr og forbruksmateriell til behandling hjemme/utenfor sykehus når behandlingen er igangsatt av spesialisthelsetjenesten.\n\nHelseforetakene har i tillegg ansvar for å levere tjenester/forbruksmateriell til en rekke behandlingsforløp som ikke innbefatter medisinsk utstyr.\n\nEksempler på forbruksmateriell og tjenester som benyttes i medisinsk hjemmebehandling:\n\n- Forbruksmateriell til:\n    - enteral ernæring som gis via nasogastrisk sonde, perkutan gastrostomi (PEG) og gastrostomiport/sonde\n    - parenteral ernæring/intravenøs behandling som gis via ulike typer veneporter og sentrale/perifere venekateter\n    - epidural behandling som gis ved smertelindring\n    - subkutan behandling\n    - pleura/acites- drenasje\n    - tracheostomi\n- Kompresjonsplagg til:\n    - lymfødem (og tilhørende bandasjemateriell)\n    - brannskadebehandling\n    - kjønnsdysfori/kjønnsinkongruens\n- Apnéskinner (alternativ behandling ved søvnapné)\n- Frejkaspute (behandling av hofteleddsdysplasi hos nyfødte)\n- Kjønnsdysfori/kjønnsinkongruens (kompresjonsplagg, penisprotese, hårfjerning og vaginablokker)\n- Taleventiler/proteser for strupeopererte\n\nHelseforetakene har også ansvar for å dekke kostnadene til Klorhexidin 5 mg/ml, NaCl 0,9 mg/ml og Heparin 100 IE til vedlikehold/skylling av de aktuelle kateter, kanyler og porter som benyttes. Se også ( [HELFO utstyrsliste forbruksmateriell](https://www.helfo.no/produkt-og-prislister/produkt-og-prislister) ).\n\nListen er ikke uttømmende.\n\nDet er ulik praksis i hvordan helseforetakene organiserer utleveringen av forbruksmateriell. Sortimentet kan være ulikt mellom helseforetakene og mellom helseregionene ( [jf. Utstyr](https://behandlingshjelpemidler.no/utstyr/) ).\n\nVed spørsmål ta kontakt med aktuell [behandlingshjelpemiddelenhet](https://behandlingshjelpemidler.no/enhet/) .',
    'Les mer om [skole- og opplæringstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/barnehage-skole-og-opplaering.4636489-176065.html)\n\n### Bo- og omsorgstilbud\n\nHjemkommunene har ansvar for bo- og omsorgstilbud til voksne døvblinde. De fleste voksne med medfødt døvblindhet bor i leilighet eller bofellesskap med heldøgns omsorg.\n\nHar du ervervet døvblindhet, kan du få tilbud om kommunal omsorgsbolig eller sykehjem, hvis du ikke lenger kan bo i eget hjem.\n\nLes mer om [bo- og omsorgstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/bo-og-omsorgstilbud.4641097-176065.html)\n\n### Brukerstyrt personlig assistanse og støttekontakt (BPA)\n\nDette er en ordning som gir deg praktisk bistand til å gjøre ting som:\n\n- kle på deg\n- gjøre husarbeid\n- komme deg til skole og arbeidsplass\n- handle og lage mat\n- være sammen med venner og familie\n- engasjere deg i samfunnet.\n\nBPA gir deg mulighet til å administrere din egen hverdag, ved at du selv kan bestemme hvem som skal være dine assistenter, hva de skal bistå med og til hvilke tider.\n\nLes mer om [brukerstyrt personlig assistanse og støttekontakt for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/brukerstyrt-personlig-assistanse-og-stoettekontakt.4832862-176065.html)\n\n### Cochleaimplantat (CI)\n\nCI er et elektronisk apparat som opereres inn i øret. Det er et hjelpemiddel som hovedsakelig tilbys hørselshemmede med så store hørselstap, at de har liten eller ingen mulighet til å oppfatte tale med et vanlig høreapparat.\n\nLes mer om [cochleaimplantat på unn.no.](https://www.unn.no/dovblindhet/hva-kan-hjelpe/teknologi-og-hjelpemidler/horselshjelpemidler/cochleaimplantat/)\n\n### Individuell plan (IP)\n\nIndividuell plan er et verktøy som legger til rette for samarbeid mellom deg og tjenesteytere. Formålet med IP er å ha et helhetlig tilbud som koordineres gjennom én plan. Planen skal være individuelt tilpasset og én tjenesteyter skal ha hovedansvaret for oppfølgingen. Den som bruker henvender seg til har plikt til å sørge for at arbeidet med planen settes i gang.\n\nLes mer om [individuell plan på dovblindhet.no.](https://www.dovblindhet.no/individuell-plan.4590084-176065.html)\n\n### Orienterings- og mobilitetsopplæring\n\nEksempler på dette er:\n\n- bruk av hvit stokk og stokk-teknikk\n- ledsagerteknikk\n- beskyttelsesteknikk\n- orienteringsteknikk\n- opplæring i ulike tekniske hjelpemidler\n- innlæring av mobilitetsruter\n- bruk av andre og resterende sanser\n\n### Tolk/ledsager\n\nI mange tilfeller vil du være avhengig av en tolk/ledsager som behersker de ulike kommunikasjonsformene som personer med døvblindhet bruker.\n\nEn tolk/ledsager fungerer som et bindeledd mellom deg og andre personer. Her kan du finne ut mer om [tolketjenesten i NAV](https://www.nav.no/no/person/hjelpemidler/hjelpemidler-og-tilrettelegging/tolketjenesten) .\n\nLes mer om [tolk eller ledsager på dovblindhet.no.](https://www.dovblindhet.no/tolkledsager.4588731-176065.html)\n\nReferanser\n\n[Publikasjoner om medfødt døvblindhet](https://www.dovblindhet.no/publikasjoner-om-medfoedt-doevblindhet.4873964-480618.html) (dovblindhet.no)\n\n[Publikasjoner om ervervet døvblindhet](https://www.dovblindhet.no/publikasjoner-om-ervervet-doevblindhet.4874059-480618.html) (dovblindhet.no)\n\n[Nordisk definisjon av døvblindhet, 2016](https://www.dovblindhet.no/?cat=440667) (dovblindhet.no)\n\nInnholdet er levert av [Nasjonal kompetansetjeneste for døvblinde (NKDB)](/samarbeidspartnere/#nasjonal-kompetansetjeneste-for-dovblinde-(nkdb))\n\nSlik refererer du til innholdet Nasjonal kompetansetjeneste for døvblinde (NKDB). Døvblindhet. [Internett]. Oslo: Helsedirektoratet; oppdatert torsdag 20. juni 2024 [hentet tirsdag 9. desember 2025]. Tilgjengelig fra: [https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/](https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/)\n\nSist oppdatert torsdag 20. juni 2024',
    'For noen kan det ta lang tid å erkjenne ove r for seg selv at du har et hjelpe- og tjenestebehov, finne ut hva behovet er og gå til det skritt et å søke hjelp. Det er derfor viktig at helsepe rsonell og andre tjenesteytere anerkjenne r de følelsene og tankene som kan oppstå hos tjene s temottakeren i den nye situasjonen han eller hu n er i.\n\n## **Pårørende**\n\nPårørende er, vanligvis, en viktig støttespiller både for personen med den sjeldne diagnosen og tjenesteytere. Mange pårørende opplever det som godt og riktig å være nær og å bistå personen med diagnose. Pårørende kan også være et viktig bindeledd mellom person med diagnose og tjenesteytere.\n\nNoen pårørende opplever at omsorgsoppgavene og oppfølgingen av personen med diagnose er krevende både fysisk og psykisk og noen kan oppleve situasjonen som overveldende. Det kan være vanskelig å sette sine egne behov opp mot den andres behov. Pårørende har også behov for å ivareta egen omsorg, helse og sosiale behov.\n\nHelsedirektoratet har gitt ut en [*Pårørendeveilede*](https://www.helsedirektoratet.no/veiledere/parorendeveileder) *r.*\n\nVeilederen inneholder mange viktige momenter knyttet til det å være pårørende og ha omsorgsoppgaver for nære personer.\n\nI pårørendeveilederen står det blant annet følgende om viktigheten av at helse- og omsorgstjenesten kartlegge r og fange r opp pårørendes behov for støtte :\n\n*Pårørendes samlede omsorgsoppgaver, ressurser og belastninger bør kartlegges i forbindelse med tildeling av kommunale helse- og omsorgstjenester til pasienten/ brukeren. Kartleggingen bør gjentas regelmessig. (s. 79)*\n\nVidere fremheves det som viktig at pårørende får mulighet til å møte andre i samme situasjon . I denne forbindelse nevnes det spesielt at:\n\n*For pårørende til personer med en sjelden diagnose kan det være en utfordring å finne andre personer i samme situasjon. Disse bør få hjelp til å møte de få som faktisk er i samme situasjon. (s. 84)*\n\nDet er opprettet et eget [p årørendesenter i Stavanger.](https://www.parorendesenteret.no/om-oss) Vi har blant annet hentet informasjonen derfra, til denne artikkelen. Pårørendesenteret innbyr pårørende til å ta kontakt og skriver om nettsiden:\n\n*Denne siden er for deg som er pårørende. Her finner du kunnskap, tips og råd. Du kan også lese om pårørendes rettigheter og andre pårørendes erfaringer. Nettstedet er innholdsrikt og omfatter både artikler, kunnskapsfilmer, mestringsfilmer og lydfiler.*\n\n## **Søknad og vedtak**\n\nSe [Frambus temaside om søknadsprosessen](https://frambu.no/tema/soknadsprosesser-nyttige-tips/) - her kan du lese om søknad, vedtak og klage.\n\nR etten til helsetjenester i hjemme t finner du i [pasient- og brukerrettighetsloven § 2-1 a, 2. ledd](https://lovdata.no/dokument/NL/lov/1999-07-02-63/#KAPITTEL_2) , som må ses i sammenheng med [helse- og omsorgstjenesteloven § 3-2, 1. ledd, nr. 6, bokstav a.](https://lovdata.no/dokument/NL/lov/2011-06-24-30#KAPITTEL_3) [Pasient- og brukerrettighetsloven § 2-8 handler om retten til vedtak.](https://lovdata.no/dokument/NL/lov/1999-07-02-63/#KAPITTEL_2)\n\n*Artikkelen er faglig oppdatert 15.07.2024.*',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5485, 0.1362, 0.1016]])

Evaluation

Metrics

Triplet

• Dataset: dev_triplet
• Evaluated with TripletEvaluator

Information Retrieval

• Dataset: dev_ir
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 565,173 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokensmean: 22.43 tokensmax: 58 tokens	min: 33 tokensmean: 1026.5 tokensmax: 2048 tokens	min: 27 tokensmean: 959.57 tokensmax: 2048 tokens

• Samples:

  anchor	positive	negative
  Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?	# 9.4. Sjeldne svulsterI tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper.Les hele	# Pakkeforløp for kreft hos barnBarneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger.Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie.# Informasjon og dialog med pasient/pårørendeDen legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen.# Støttebehandling og sykepleieSykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon.# Håndtering av tilbakefallVed tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...
  rette opp ryggen til ungdom	# Skoliose hos ungdom - operasjon

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Evaluation Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 5,767 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokensmean: 22.74 tokensmax: 60 tokens	min: 35 tokensmean: 1017.39 tokensmax: 2048 tokens	min: 29 tokensmean: 963.91 tokensmax: 2048 tokens

• Samples:

  anchor	positive	negative
  koble ting sammen for bedre lyd	](#hva)### Hva er hjelpemiddelet?Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner.Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler.Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet.Lyttehjelpemidler til TV og radio HjelpemiddelDu kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk.Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør.Lyttehjelpemidler for telefon Hjelpemi...	Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie).28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside).29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside).30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...
  Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?	Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag.#### Klage på vedtakI vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss .Send klage Ettersend dokumentasjon#### Anke vedtakHvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket.Send anke Ettersend dokumentasjonDu kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne.Klagerettigheter Slik gjør du detSaksbehandlingstid...	Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden.| Saken gjelder | Forventet saksbehandlingstid ||---------------------------------------|--------------------------------|| Søknad om hjelpemiddel til dagligliv | 17 dager || Søknad om hjelpemiddel til arbeidsliv | 21 dager |### Personvern og automatisk saksbehandlingFor å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet.Slik behandler Nav personopplysningeneVi behandler personopplysninger om- fødselsnummer- navn- alder- bostedsadresse- brillestyrke- tidligere støtte til brillerFra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...
  Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?	Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) .

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• learning_rate: 1.5e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• prompts: {'anchor': 'task: search result | query: ', 'positive': 'title: none | text: ', 'negative': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: {'anchor': 'task: search result | query: ', 'positive': 'title: none | text: ', 'negative': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}