Borealis Embed 212M

Model Summary

NbAiLab/borealis-embed-212m is a 212M parameter sentence-transformers embedding model (98M embedding parameters) based on an adapted Gemma3Text architecture. The model is pretrained from scratch on the open subset of our Aurora 2604 data and fine-tuned as a sentence transformer with mean pooling on subsets from NbAiLab/mnli-norwegian, DDSC/nordic-embedding-training-data, sentence-transformers/parallel-sentences-opus-100, lightonai/embeddings-pre-training, and internal newspaper articles. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval. With a longer max sequence length than its predecessors (nb-sbert and nb-sbert-v2), the model can handle chunks of text up to 8192 tokens long.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Datasets:
  • NbAiLab/mnli-norwegian
  • A subset of retrieval triplets from DDSC/nordic-embedding-training-data
  • Norwegian to English pairs from sentence-transformers/parallel-sentences-opus-100
  • Norwegian Wikipedia articles from lightonai/embeddings-pre-training
  • An internal dataset created from Norwegian newspapers. The Norwegian government has entered into an agreement, through the National Library of Norway, to access copyrighted press material via Kopinor on behalf of the Norwegian Media Businesses' Association (MBL), enabling the lawful training, development, maintenance, and public release of Norwegian language models. The agreement covers copyright-protected press publications published in Norway up to one year from the date of publication of the model, effectively creating a rolling cutoff date rather than a fixed historical cutoff. For this release, the cutoff date is January 1, 2025.

EU AI Act

This release is a non-generative encoder model whose outputs are vectors/scores rather than language or media. Its intended functionality is limited to representation, retrieval, ranking, or classification support. On that basis, the release is preliminarily assessed as not falling within the provider obligations for GPAI models under the EU AI Act definitions, subject to legal confirmation if capability scope or marketed generality changes. For more information, see the Model Documentation Form.

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'AustralisModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("NbAiLab/borealis-embed-212M")
# Run inference
queries = [
    '- Who is he?',
]
documents = [
    '- Hvem er han?',
    'Banning.',
    'Nei, det har hun ikke.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.7765, 0.2560, 0.2525]])

Evaluation

We evaluated this model on two benchmarks: the Scandinavian Embedding Benchmark (SEB) and the Long-context Retrieval Benchmark (LongEmbed) from MTEB.

During pretraining, max sequence length of the model was extended to 8192 tokens. However, during the fine-tuning process, the model is trained with a sequence length 2048. The evaluation results on LongEmbed show that the model has retained the length extension from pretraining and confirms that the model can support up to 8192 tokens.

Metrics

MTEB (Scandinavian)

"Scandinavian text embedding quality covering Danish, Swedish, Norwegian Bokmål, and Nynorsk and spanning classification, clustering, retrieval as well as bitext tasks across dialects or written forms."

Long-context Retrieval

"Long-context retrieval quality across synthetic and real-world tasks featuring documents of varying length with dispersed target information."

[!NOTE] NOTE: The scores for LEMBNeedleRetrieval and LEMBPasskeyRetrieval are given as the average ndcg@1 for sequence lengths 256, 512, 1024, 2048, 4096, and 8192.

Training Details

For specific details about the training process, see the Training Process section of the Model Documentation Form.

Training Datasets

NbAiLab/mnli-norwegian

• Dataset: NbAiLab/mnli-norwegian
• Size: 527,098 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 6 tokensmean: 18.64 tokensmax: 53 tokens	min: 6 tokensmean: 18.74 tokensmax: 53 tokens	min: 7 tokensmean: 12.88 tokensmax: 30 tokens

• Samples:

  anchor	positive	negative
  Det som følger er mindre en glid nedover en glatt skråning enn et profesjonelt skred som resulterer i enten en oppsigelse eller en smal flukt til neste drømmejobb, der, selvfølgelig, syklusen gjentas igjen.	Syklusen gjentar seg ved neste jobb.	Syklusen gjentar seg sjelden ved neste jobb.
  Syklusen gjentar seg ved neste jobb.	Det som følger er mindre en glid nedover en glatt skråning enn et profesjonelt skred som resulterer i enten en oppsigelse eller en smal flukt til neste drømmejobb, der, selvfølgelig, syklusen gjentas igjen.	Syklusen gjentar seg sjelden ved neste jobb.
  The public areas are spectacular, the rooms a bit less so, but a long-awaited renovation was carried out in 1998.	The rooms are nice, but the public area is in a league of it's own.	The public area was fine, but the rooms were really something else.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 128,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Retrieval Documents for Norwegian Bokmål

• Dataset: ddsc-retrieval-nob
• Size: 40,151 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokensmean: 19.24 tokensmax: 60 tokens	min: 47 tokensmean: 157.63 tokensmax: 305 tokens	min: 42 tokensmean: 93.32 tokensmax: 165 tokens

• Samples:

  anchor	positive	negative
  Hvordan påvirket den industrielle revolusjon i Storbritannia utdanningssystemene og sosiale strukturer for kvinner på landsbygda?	Den industrielle revolusjon i Storbritannia, som skjøt fart på midten av 1700-tallet, hadde en dyptgribende innvirkning på alle sider av samfunnet, inkludert kvinner på landsbygda. Mens industrialiseringa forårsaket en massivit migrasjon til byene, ble kvinner på landsbygda ofte stående igjen som de som holdt driften i gang. De fortsatte med tradisjonelle oppgaver som landbruk og husarbeid, men industrialiseringen førte også til nye muligheter. Noen kvinner fant arbeid i nye næringer knyttet til tekstilproduksjon og husnæringer som ble introdusert i landsbygdsområder. Denne økonomiske aktiviteten ga noen kvinner økt selvstendighet og innflytelse innenfor familiene, men samtidig forsterket tradisjonelle kjønnsroller i mange tilfeller. Den økende behovet for utdanning for å håndtere nye teknologier og markedsforhold, kombinert med reformer i opplysningstiden, førte til en utvidelse av utdanningsmuligheter for noen jenter, men tilgangen var fortsatt begrenset, og mange jenter forble uten ...	Den industrielle revolusjonen førte til en dramatisk befolkningsvekst i britiske byer. Nye fabrikker og arbeidsplasser trakk folk fra landsbygda, og dette førte til en rekke sosial og økonomiske endringer. Bostedene ble tettere, sanitæresituasjonen ble verre, og fattigdom og kriminalitet økte. Samtidig førte industrialiseringen til nye teknologier og produsert nye varer til lavere priser.
  Sampling og opphavsrett innen elektronisk musikk	Opphavsretten i musikken er et komplekst tema som blir stadig mer aktuelt i den digitale tidsalderen. Spesielt gjelder dette for elektronisk musikk, en sjanger som ofte bygger på sampling, altså bruken av fragmenter fra eksisterende innspillinger. Lovpålagte begrensninger for bruk av copyrightbeskyttet materiale setter klare rammer for musikere og produsenter som ønsker å integrere samplede elementer i sine egne verk.For å kunne bruke samplede elementer lovlig, må man innhente tillatelse fra innehaveren av opphavsretten til det originale materialet. Dette kan innebære kontakt med plateselskaper, forlag eller direkte med originalartistene. I tilfeller der opphavsretten er uklar, kan det være aktuelt å søke veiledning fra organisasjoner som TONO eller NOPA.Det er viktig å merke seg at simpelthen å gi kreditt til den originale artisten eller å endre sampelen lett ikke er tilstrekkelig for å unngå brudd på opphavsretten. Bruk av copyrightbeskyttet materiale uten tillatelse kan føre til...	Elektronisk musikk har blitt en dominerende kraft i musikkindustrien, og har påvirket mange musikksjangere. Teknologiske fremskritt har gjort det mulig å skape komplekse og innovative lydlandskap. Synthersizere, samplerer og digitale lyd Workstationer gir musikere et bredt spekter av valgmuligheter for å komponere og produsere musikk.Digital distribusjon har åpnet opp nye markeder for elektronisk musikk, og gjort musikken tilgjengelig for et globalt publikum. Streamingtjenester og digitale butikker tillater musikere å nå ut til lyttere over hele verden. Elektronisk musikk har også inspirert nye danseformer og kulturelle uttrykk, og har blitt en integrert del av nattklubbkulturen og festivaler jorden rundt.
  Kulturell innflytelse	Den industrielle revolusjonens innvirkning på norsk kultur var omfattende. Urbaniseringen førte til nye sosiale strukturer, og arbeiderklassen vokste frem som en ny kulturell kraft. Litteraturen og kunsten reflekterte dette skiftet, med forfattere som Henrik Ibsen og malere som Edvard Munch som snakket til og om den moderne verden. Samtidig oppsto nye former for underholdning, som teater og kino, som bredte seg raskt i byene. Folkemusikk og folketradisjoner ble påvirket av industrialiseringen, noe som førte til både bevaring og fornyelse. Den massive befolkningsveksten i byene resulterte også i nye behov for utdanning og helsevesen, noe som igjen styrket det offentlige engasjementet og den moderne velferdsstaten.	Industrialiseringen førte til dramatiske endringer i den norske økonomien på 1800-tallet. Utviklingen av nye teknologier og industribedrifter bidro til en økt produksjon og handel. Dette førte til økonomisk vekst, men også til sosiale ulikheter og arbeidsmigration til byene.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Retrieval Documents for Danish

• Dataset: ddsc-retrieval-dan
• Size: 77,643 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokensmean: 20.74 tokensmax: 57 tokens	min: 58 tokensmean: 166.14 tokensmax: 321 tokens	min: 27 tokensmean: 93.33 tokensmax: 168 tokens

• Samples:

  anchor	positive	negative
  Problem med lyd	Fejlfinding af lydproblemer kan være frustrerende, men der er ofte en simpel løsning. Først og fremmest skal du kontrollere, om lyden er slået til på både din computer og dine eksterne højttalere eller hovedtelefoner. Sørg for, at lydstyrken er indstillet til et passende niveau på begge enheder. Hvis problemet fortsætter, kan du prøve at opdatere lydkørerne til din computer. Udfør en grundig kontrol af alle kabelforbindelser for at sikre, at de er sikre og fri for skader. I tilfælde af problemer med interne højttalere, kan det være nødvendigt at genstarte computeren eller udføre en systemgennemgang for at identificere eventuelle fejl. Vær opmærksom på eventuelle fejlmeddelelser eller advarsler, som kan give yderligere oplysninger om årsagen til lydproblemet.	Sørg for, at din internetforbindelse er stabil og funktionel, da dette er afgørende for den generelle computeroplevelse. En ustabil forbindelse kan resultere i forsinkelser, afbrydelser og problemer med streaming af indhold. Kontrollér også, om andre enheder på dit netværk har forbindelse til internettet for at udelukke netværksproblemer.
  Softwareudvikler København AI-drevet	Vi søger en erfaren softwareudvikler til vores team i København. Du vil arbejde med at udvikle innovative AI-drevet softwareløsninger til sundhedsvæsenet. Du skal have solid erfaring med Python og machine learning-algoritmer. Vi tilbyder et dynamisk miljø med mulighed for at arbejde med spændende projekter.	Vores virksomhed er på udkig efter en dygtig dataanalytiker til vores kontor i Aarhus. Vi arbejder med at analysere store datasæt og identificere trends. Du skal have en kandidatuddannelse i matematik eller statistik.
  Havets syredisering og koralrevets fremtid	Oceanens syredisering er en alvorlig trussel mod koralrev verden over. Den stigende koncentration af kuldioxid i atmosfæren, som følge af menneskelig aktivitet, absorberes af havene. Herved sænkes havvandets pH-værdi, hvilket gør vandet mere surt. Dette kan have en række skadelige virkninger på marine organismer, herunder koraller. Syre havvand hindrer korallers evne til at danne deres kalkskeletter, hvilket gør dem svagere og mere modtagelige over for skader. Desuden kan syre havvand forårsage coral bleaching, hvor koraller mister deres symbiotiske alger og bliver hvide. Coral bleaching kan være fatal for korallerne, især hvis det sker hyppigt eller i længere perioder. Forskellige studier har vist, at koralrev i hele verden allerede er berørt af oceanens syredisering, og det forventes, at situationen vil forværres i fremtiden, hvis globale kuldioxidemissioner ikke reduceres.For at bevare koralrev er det afgørende at tackle klimaforandringerne ved at reducere drivhusgassernes emissi...	Den globale opvarmning har alvorlige konsekvenser for marine økosystemer. Stigende vandtemperaturer kan føre til massedød af fisk og andre marine organismer. Havets stigende stand truer kystbebyggelse og infrastruktur. Desuden kan oceanens syredisering have skadelige virkninger på skaldyr og andre kalkdannende organismer. For at mindske disse effekter er det vigtigt at reducere vores CO2-udslip og implementere bæredygtige fiskeri praksisser.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Retrieval Documents for Swedish

• Dataset: ddsc-retrieval-swe
• Size: 40,354 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokensmean: 22.29 tokensmax: 110 tokens	min: 40 tokensmean: 181.44 tokensmax: 357 tokens	min: 33 tokensmean: 103.82 tokensmax: 186 tokens

• Samples:

  anchor	positive	negative
  Hur fungerar mekanismen bakom perkutan koronar intervention vid behandling av ateroskleros i kranskärlen?	Koronararterien är en vital del av det kardiovaskulära systemet, ansvarig för att leverera syrefattigt blod till hjärtmuskeln. När koronararterierna skadas eller förträngs genom en process som kallas ateroskleros, kan det leda till kranskärlssjukdom. Perkutan koronar intervention (PCI) är en etablerad behandling för ateroskleros i kranskärlen. PCI är en minimalt invasiv procedur som innebär att en tunn kateter införs i en blodåder i armen eller benet och sedan leds genom blodkärlen till det drabbade området i hjärtat. Katetern för in en liten ballong som uppblåses för att komprimera placket och utvidga det förträngda blodkärlet. I många fall implanteras också en liten metall stent i blodkärlet för att hålla det öppet och förhindra återförträngning. Dessutom kan läkemedel som heparin och aspirin ges för att förhindra blodproppar. PCI är en effektiv behandling som har visat sig förbättra flödet i koronararterierna och minska symptomen på kranskärlssjukdom.	Ateroskleros är en komplex sjukdom som utvecklas gradvis över tid. Den uppstår när plack, bestående av fett, kolesterol, kalcium och andra ämnen, byggs upp på insidan av artärerna. Denna uppbyggnad kan leda till en försmökning av artärerna och begränsa blodflödet till hjärtat. Det finns olika faktorer som kan bidra till utvecklingen av ateroskleros, inklusive högt kolesterol, högt blodtryck, rökning, diabetes och en stillasittande livsstil. Livsstilsförändringar, såsom att äta en hälsosam kost, motionera regelbundet och sluta röka, kan bidra till att förhindra eller sakta ner utvecklingen av ateroskleros. I några fall kan läkemedel behövas för att kontrollera riskfaktorer och minska risken för hjärt-kärlsjukdomar.
  Finns det berättelser om kvinnor som bryter barriärer och kämpar mot orättvisor i samhällen dominerade av män?	I den ödelagda världen efter Ödslingen hade Astrid byggt upp ett eget imperium. Hon behärskade järnet, fästlade allianser med stammars hövdingar och utmanade patriarkatets strikta lagar. Den första kvinnliga krigsherren i över ett sekel. Hennes namn susade som vinden över ökenfälten, lika mycket fruktanväckande som förhoppningsfullt. Hon hade utrottat den despotiska tyrannen Karg och ristat in sin rättvisa på det stenhjärtat som han lämnat efter sig. Men hennes segertåg hade bara börjat. Astrid visste att det krävdes mer än styrka för att bygga en ny värld. Hon behövde visdom, diplomati och en järnvilja för att bekämpa fördomar och skapa ett samhälle där alla hade möjlighet att blomstra.	Linnea sträckte ut handen mot det glimmrande kristallklara vattnet. Hon hade alltid älskat havet, dess mystik och det vilda frihet det gav. Hon drömde om att utforska dess djup, att segla till avlägsna öar och möta nya kulturer. Men hennes far, en mäktig handelsman, hade andra planer för henne. Han ville att hon skulle gifta sig med en rik köpmän och säkra familjens framtid. Linnea kände sig fångad, hennes drömmar kvävda av förväntningarna.
  Vilka var de viktigaste ekonomiska och sociala konsekvenserna av användningen av mekaniska vävstolar under den industriella revolutionen i Storbritannien?	Den industriella revolutionen, som tog fart i Storbritannien under 1700-talet, markerades av en rad tekniska innovationer som radikalt förändrade samhället. En av de mest betydelsefulla uppfinningarna var den mekaniska vävstolen, som revolutionerade textilindustrin. Genom att automatisera vävprocessen ökade produktionen avsevärt, vilket ledde till lägre priser på textilier och ökad konsumtion. Den mekaniska vävstolen skapade nya arbetstillfällen i fabrikerna, men samtidigt bidrog den till arbetslöshet bland vävare som förlorade sina jobb. Detta skapade en social spänning och bidrog till uppkomsten av en ny arbetarklass. Den ökade produktionen av billigare textilier stimulerades handel och ekonomisk tillväxt. Industrialiseringen ledde dock också till överbefolkade städer, föroreningar och usla arbetsförhållanden. Kvinnor och barn utnyttjades ofta i fabrikerna under hårda förhållanden. Detta skapade ett behov av social reform och ledde till rörelser för förbättrade arbetsvillkor och sta...	Den brittiska textilindustrin var under 1700-talet en av världens ledande. Landet exporterade stora mängder bomullsvaror till Europa och kolonierna. Den växande efterfrågan på textilier ledde till en ökad användning av ull och bomull, vilket i sin tur bidrog till utvecklingen av nya handelsrutter. Den brittiska flottan spelade en avgörande roll i detta genom att skydda handelsfärderna och etablera kolonier som kunde leverera råvaror. Expansiva handelskolonier i Indien och Amerika förberedde vägen för Storbritanniens industriella dominance och bidrog till en växande medelklass.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Norwegian Newspaper Articles

[!IMPORTANT] Due to copyright restrictions, we are not able to provide samples from this dataset.

• Dataset: articles
• Size: 553,697 training samples
• Columns: intro and text
• Approximate statistics based on the first 100 samples:

  	intro	text
  type	string	string
  modality	text	text
  details	min: 8 tokensmean: 36.08 tokensmax: 73 tokens	min: 51 tokensmean: 621.79 tokensmax: 1774 tokens

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

English-Bokmål

• Dataset: opus100-en-nb
• Size: 142,906 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 3 tokensmean: 10.35 tokensmax: 109 tokens	min: 3 tokensmean: 11.0 tokensmax: 99 tokens

• Samples:

  english	non_english
  Design E-R databases	Lag E-R databaser
  as a valid day code.	som gyldig dagskode.
  Importing %1...	Importerer% 1 & # 160; …

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

English-Norwegian

• Dataset: opus100-en-no
• Size: 1,000,000 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 4 tokensmean: 9.76 tokensmax: 32 tokens	min: 4 tokensmean: 8.5 tokensmax: 25 tokens

• Samples:

  english	non_english
  Fine.	Greit.
  - Who is he?	- Hvem er han?
  Tell me if Michelle is alive.	Er hun i live?

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

English-Nynorsk

• Dataset: opus100-en-nn
• Size: 486,055 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 3 tokensmean: 10.03 tokensmax: 66 tokens	min: 3 tokensmean: 10.7 tokensmax: 71 tokens

• Samples:

  english	non_english
  What to do with executable text files when they are activated (single or double clicked). Possible values are "launch" to launch them as programs, "ask" to ask what to do via a dialog, and "display" to display them as text files.	Kva som skal gjerast med køyrbare tekstfiler når dei vert aktiverte (enkelt- eller dobbeltklikka). Moglege verdiar er «launch» for å køyra dei som program, «ask» for å spørja i ein dialog, og «display» for å visa dei som tekstfiler.
  Marsa Matruh	Marsa Matruh
  US Dollar	Amerikansk dollar

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Norwegian Wikipedia Articles

• Dataset: wikipedia-no
• Size: 617,937 training samples
• Columns: query and document
• Approximate statistics based on the first 100 samples:

  	query	document
  type	string	string
  modality	text	text
  details	min: 3 tokensmean: 4.44 tokensmax: 12 tokens	min: 74 tokensmean: 1259.43 tokensmax: 2048 tokens

• Samples:

  query	document
  Akershus	Akershus (fra norrønt akr, åker, og hús, borg eller kastell) er en norsk geografisk region med navn etter Akershus festning i Oslo, som siden middelalderen har betegnet ulike administrative provinser i Norge med Oslo som sentrum og hovedby, herunder et hovedlen, et stiftamt, et amt og et fylke; Akershus utgjør et valgdistrikt og vil fra 1. januar 2024 igjen være et fylke. Grensene for Akershus har endret seg over tid, og Akershus kan historisk forstås både som en stor riksdel (store Akershus) som omtrent sammenfalt med Østlandet og som en sentral provins i Osloregionen (lille Akershus) som tradisjonelt omfattet distriktene Aker (det moderne Oslo, Bærum og Asker), Follo og Romerike. I perioden 1948–2020 var Akershus navnet på et «restfylke» som var vesentlig mindre enn tidligere etter at fylkets største og mest sentrale kommune Aker – som utgjør størstedelen av det moderne Oslo – hadde blitt overført til Oslo kommune (som da hadde fått status som eget fylke) og dermed splittet det reste...
  Brus med ananassmak	Oskar Syltes brus med ananassmak, i dagligtale kalt ananasbrus, er en syntetisk fruktbrus fra Oskar Sylte Mineralvannfabrikk. Den har en dyp oransjebrun farge og en smak med hint av ananas.Brusen med ananassmak har vært Oskar Syltes mestselgende produkt og er like gammel som bedriften selv. I 2004 utgjorde ananasbrus 20 til 30 prosent av firmaets salg.Den har vært produsert etter samme oppskrift siden oppstarten i 1929.Brusen finnes i 2022 også i en sukkerfri versjon. Den sukkerfrie brusen med ananassmak er søtet med aspartam og acesulfam K.Se ogsåOskar Sylte MineralvannfabrikkReferanser BrusEtableringer i 1929Norsk drikkeOskar Sylte
  Adjø solidaritet	Adjø solidaritet er en norsk dramafilm fra 1985 regissert, skrevet og produsert av Svend Wam og Petter Vennerød. Filmen er den tredje av en trilogi som har fått fellesbenevnelsen Sangen om den knuste drømmen som filmskaperne har beskrevet som «et oppgjør med den selvhøytidelige 1968-arven». De to andre er Åpen framtid og Drømmeslottet. Den er utgitt året før Drømmeslottet, men ligger innholdsmessig sist i trilogien. Adjø solidaritet regnes som filmduoens hovedverk.Handling Handlingen strekker seg over tre generasjonsperspektiver. Sentralt står Atle, en 40 år gammel psykiater og hans jevnaldrende venn, Eigil, som er teaterregissør. De er begge skilt og har barn som ikke bor hos dem. De mimrer om gamle dager og drømmer om å reise til Kina, men utenom det er de gamle idealene glemt og de koser seg med sin velstand og «vellykkethet». Begge sliter for å holde en fasade som hele tiden truer med å sprekke. Under Eigils 40-årslag kommer sannheten fram og aggresjonene slår ut i full blomst...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2048
• num_train_epochs: 1
• learning_rate: 1e-05
• warmup_steps: 0.1
• weight_decay: 0.1
• bf16: True
• torch_compile: True
• torch_compile_backend: inductor
• per_device_eval_batch_size: 32
• dataloader_num_workers: 4
• batch_sampler: no_duplicates

All Hyperparameters

• per_device_train_batch_size: 2048
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.1
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: True
• torch_compile_backend: inductor
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 32
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 7.1 hours

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.6.0
• Transformers: 5.14.1
• PyTorch: 2.13.0+cu130
• Accelerate: 1.14.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

License

The license of this model is an adaptation of the Apache 2.0 license with additional use-based restrictions. In particular, users of the model are required to refrain from intentionally using the model to recreate data the model has been trained on. The license also requires users not to use the model or its output to provide end-user services whose primary purpose is to give access to licensed press publications in the training data.

For more information, see the LICENSE and the License FAQ.

Authenticity

This model release is signed by the National Library of Norway. The signed manifest in signing/SHA256SUMS covers the model-runtime artifacts, including model weights, configuration, and tokenizer files.

To verify model authenticity and file integrity after downloading the repository, run:

bash signing/verify.sh

For more verification instructions, see ai.nb.no/verify.

Citation and Contributors

The Borealis Embed family of models is a joint effort of multiple teams at the National Library of Norway. Led by Lucas Georges Gabriel Charpentier and Victoria Handford, key contributors include (in alphabetical order) Rolv-Arild Braaten, Javier de la Rosa, and Marthe Løken Midtgaard.

A tecnical report will be released soon.

BibTeX

Dual Objective Language Models

@misc{samuel2026dualobjectivelanguagemodelstraining,
      title={Dual-objective Language Models: Training Efficiency Without Overfitting},
      author={David Samuel and Lucas Georges Gabriel Charpentier},
      year={2026},
      eprint={2512.14549},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.14549},
}

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

The Scandinavian Embedding Benchmark

@article{enevoldsenScandinavianEmbeddingBenchmarks2024,
  author = {Enevoldsen, Kenneth and Kardos, Márton and Muennighoff, Niklas and Nielbo, Kristoffer},
  language = {en},
  month = feb,
  shorttitle = {The {Scandinavian} {Embedding} {Benchmarks}},
  title = {The {Scandinavian} {Embedding} {Benchmarks}: {Comprehensive} {Assessment} of {Multilingual} and {Monolingual} {Text} {Embedding}},
  url = {https://openreview.net/forum?id=pJl_i7HIA72},
  urldate = {2024-04-12},
  year = {2024},
}

The Long-context Retrieval Benchmark

@article{zhu2024longembed,
  author = {Zhu, Dawei and Wang, Liang and Yang, Nan and Song, Yifan and Wu, Wenhao and Wei, Furu and Li, Sujian},
  journal = {arXiv preprint arXiv:2404.12096},
  title = {LongEmbed: Extending Embedding Models for Long Context Retrieval},
  year = {2024},
}

Disclaimer

These models may have bias and/or any other undesirable distortions. When third parties, deploy or provide systems and/or services to other parties using any of these models (or using systems based on these models) or become users of the models, they should note that it is their responsibility to mitigate the risks arising from their use and, in any event, to comply with applicable regulations, including regulations regarding the use of artificial intelligence. In no event shall the owner of the models (The National Library of Norway) be liable for any results arising from the use made by third parties of these models.

Contact

For feedback, technical concerns, or collaboration inquiries, please contact ailab@nb.no.