EmbeddingGemma-Scandi-300m

EmbeddingGemma-Scandi-300m is finetuned on the Scandinavian (Danish, Norwegian, Swedish) text embeddings dataset from DDSC (nordic-embedding-training-data) using google/embeddinggemma-300m as the base model via the sentence-transformers framework.

It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • nordic-embedding-training-data
• Languages: da, no, sw, sv
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("emillykkejensen/EmbeddingGemma-Scandi-300m")
# model = SentenceTransformer("google/embeddinggemma-300m") # For comparison

# Run inference
query = "Hvad var årsagen til at Christian IVs militære felttog mod Sverige fik så katastrofale følger?"
documents = [
    "Kong Christian IVs mange byggerier, herunder Rundetårn og Børsen, kostede statskassen dyrt og førte til økonomiske problemer. Hans passion for arkitektur og storslåede monumenter var medvirkende til rigets finansielle vanskeligheder i 1600-tallet.",
    "Den Store Nordiske Krig fra 1700-1721 resulterede i Sveriges tab af mange territorier til Rusland. Karl XIIs aggressive ekspansionspolitik endte med nederlag ved Poltava i 1709, hvilket markerede begyndelsen på Sveriges decline som stormagt.",
    "Christian IV indledte Kalmarkrigen i 1611 mod Sverige, motiveret af ønsket om at genvinde kontrollen over Øresund. Selvom Danmark opnåede nogle territoriale gevinster, var konflikten kostbar og udmattende for begge lande.",
    "Kongens manglende militære erfaring og overvurdering af Danmarks styrke var afgørende faktorer i nederlagene under Torstenson-fejden. Christian IVs personlige ledelse på slagmarken viste sig katastrofal, da han ikke forstod moderne krigsførelsesteknikker og undervurderede den svenske hærs disciplin og taktiske overlegenhed.",
    "Gustav II Adolf moderniserede den svenske hær med forbedret artilleri og mobile enheder. Hans militære reformer revolutionerede europæisk krigsførelse og gav Sverige en betydelig fordel i konflikter under 1600-tallet."
]

query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.2084, 0.2748, 0.3668, 0.6182, 0.2603]]) # emillykkejensen/EmbeddingGemma-Scandi-300m
# tensor([[0.5445, 0.4533, 0.5761, 0.5408, 0.5384]]) # google/embeddinggemma-300m

Evaluation

Metrics

Information Retrieval

• Datasets: nordic-embedding-eval-1kq-5kd and nordic-embedding-test-1kq-5kd
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 307,241 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 11 tokensmean: 35.64 tokensmax: 98 tokens	min: 14 tokensmean: 138.73 tokensmax: 604 tokens	min: 8 tokensmean: 90.42 tokensmax: 434 tokens

• Samples:

  anchor	positive	negative
  task: search result | query: Bruk av musikk i YouTube-videoer	title: none | text: Denne lisensen gjelder for alle verk som er tilgjengelige via vår nettside, www.kunstverk.no. Bruk av verkene er tillatt for ikke-kommercielle formål, inkludert bruk i private videoer på plattformer som YouTube, forutsatt at tilstrekkelig kreditering gis til Opphavsmannen. Kreditering skal minst inneholde Opphavsmannens navn og tittelen på verket. Kommersiell bruk, inkludert bruk i reklamevideoer eller andre videoer som genererer inntekter, krever uttrykkelig tillatelse fra Opphavsmannen. Uautorisert bruk kan medføre juridiske konsekvenser, inkludert erstatningsansvar.	title: none | text: YouTube er en populær plattform for å dele videoer. Det er viktig å respektere opphavsretten når du laster opp innhold. Bruk av musikk, bilder eller andre verk som er beskyttet av opphavsrett, krever tillatelse fra eierne. Det finnes flere ressurser online som kan hjelpe deg med å finne gratismusikk og bilder som du kan bruke lovlig i dine videoer.
  task: search result | query: Jeg ser etter en stilling som krever erfaring med sprogmodellering, spesielt innenfor Transformer-arkitekturen og anvendelse i naturlige språkprosesseringsapplikasjoner.	title: none | text: Vi er et ledende teknologiselskap som spesialiserer oss på kunstig intelligens og maskinlæring. For tiden søker vi etter en erfaren Data Scientist med solid bakgrunn i sprogmodellering, spesielt innenfor Transformer-arkitekturer som BERT og GPT. I denne rollen vil du være ansvarlig for å utvikle og implementere avanserte NLP-modeller for en rekke applikasjoner, inkludert maskinoversettelse, tekstanalyse, samtaleassistent og tekstgenerering. Du vil jobbe tett sammen med et team av dyktige forskere og ingeniører for å skape innovative løsninger som driver vår virksomhet videre. Vi forventer at du har en doktorgrad eller tilsvarende erfaring innen et relevant felt, samt god kunnskap om Python og relevante biblioteker som TensorFlow eller PyTorch.	title: none | text: Vårt team søker en kreativ og dyktig frontend-utvikler med erfaring i React og Redux for å bli med på vår voksende plattform for e-handel. Du vil være ansvarlig for å utvikle og vedlikeholde brukergrensesnitt, optimalisere ytelsen til nettstedet vårt og samarbeide med backend-utviklere for å integrere APIer. Vi ser etter en person som er lidenskapelig opptatt av webteknologi, har gode problemløsningsferdigheter og fungerer godt i team. Erfaring med Javascript, HTML5 og CSS3 er en forutsetning.
  task: search result | query: Hur implementerar man en databasanslutning med Python och SQLite3 för att spara användarnamn och lösenord?	title: none | text: SQLite3 är ett populärt val för små till medelstora projekt på grund av sin enkelhet och portabilitet. För att använda SQLite3 med Python, bör du först importera biblioteket: import sqlite3. Därefter kan du skapa en anslutning till en befintlig databas eller skapa en ny, till exempel: conn = sqlite3.connect('min_databas.db'). När du är ansluten kan du skapa en cursor-objekt för att exekvera SQL-frågor: cursor = conn.cursor(). Nu kan du göra praktiskt taget allt, från att skapa tabeller till att infoga, hämta, uppdatera och radera data. Vidare kan du använda parameterized SQL-frågor för att förebygga SQL-injektionsattacker. Kom ihåg att stänga anslutningen när du är klar: conn.close().	title: none | text: Python erbjuder ett brett utbud av bibliotek för olika uppgifter, inklusive dataanalys, maskininlärning och webbutveckling. Till exempel, biblioteket NumPy är kraftfullt för numeriska beräkningar, medan Pandas är utmärkt för databehandling och analys. För webbutveckling är Django och Flask populära ramverk.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 8,
      "gather_across_devices": false
  }
  

Evaluation Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 38,405 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 11 tokensmean: 35.31 tokensmax: 128 tokens	min: 12 tokensmean: 142.24 tokensmax: 675 tokens	min: 16 tokensmean: 93.11 tokensmax: 430 tokens

• Samples:

  anchor	positive	negative
  task: search result | query: Kan I finde en opskrift på en traditionel dansk kold Tallerken med spegepølse, kogt æg og remoulade, som er perfekt til sommerens varme dage?	title: none | text: Den danske sommer er kendt for sine lange, lyse dage og behagelige temperaturer. En perfekt måde at nyde det skønne vejr på er med en klassisk kold tallerken. Traditionelt set består den af kogte eller stegte kartofler, spegepølse, kogte æg (gerne i tern), rødbeder, agurk, tomat, purløg og remoulade. Man kan også tilføje andre grøntsager efter smag, såsom syltede agurker, salatblade eller cherrytomater. For at lave den perfekte kold tallerken starter man med at koge kartoflerne, indtil de er møre, og derefter afkøle dem helt. Spegepølserne skæres i tynde skiver, æggene halveres eller skæres i tern, og grøntsagerne skæres i passende stykker. Remoulade kan købes færdiglavet eller laves selv ved at blande mayonnaise, sennep, syltet agurk, kapers og hakket persille. En kold tallerken kan serveres som hovedret eller som en let frokost. Den er perfekt til fester og grill arrangementer, da den kan forberedes i forvejen og serveres koldt. Tilbehør som rugbrød og øl er og...	title: none | text: Sommeren i Danmark byder på mange kulinariske muligheder. Ud over den traditionelle kold tallerken er der også andre retter, som er populære i varmere måneder. Smagsoplevelser som frisk fisk med nye kartofler, grillede grøntsager med pesto eller capitulo-salat med lokale bær er blot et par eksempler på, hvordan man kan nyde dansk sommermad. Mange danskere vælger også at drøne ud i den danske natur og nyde et måltid udendørs. Getterup og Vestjylland er populære destinationer, hvor man kan finde frodige enge og skovområder, der indbyder til picnic og afslapning. Den danske sommer er en fest for sanserne, med en unik kombination af natur, mad og kultur.
  task: search result | query: Katte elsker at lege med garnnuder. De jager dem med kloge øjne og springer rundt	title: none | text: Katte er mestre i at lege med garnnuder. De følger dem med skarpe øjne og hoppe rundt	title: none | text: Min hund elsker at apportere bolden i parken. De løber hurtigt og kaster den tilbage til mig
  task: search result | query: Den røde bil kører hurtigt ned ad bakken.	title: none | text: Den blå bil racer hurtigt ned ad vejen.	title: none | text: En bil kører hurtigt forbi et træ.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 8,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 5e-06
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.1.0
• Transformers: 4.56.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}