SentenceTransformer based on CALDISS-AAU/DA-BERT_Old_News_V3

This is a sentence-transformers model finetuned from CALDISS-AAU/DA-BERT_Old_News_V3 on the eno dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: CALDISS-AAU/DA-BERT_Old_News_V3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • eno
• Language: da

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Reisende. med Færgefartøiet fra Kallundborg til Aarhuus, den 11te Dr. Gaardmændene S. Thomsen og P. Rasmussen; Træsko handler Rosenberg; Frøken Bay, Proprietair la Cour Handelsbogholder Gjede og Kjøbmand Bendix.',
    'med Kallundborg den 11te Dr. Gaardmændene P. Rasmussen; la og',
    'en Person Stand, som har unddraget fra "',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6971, 0.1727],
#         [0.6971, 1.0000, 0.1848],
#         [0.1727, 0.1848, 1.0000]])

Training Details

Training Dataset

eno

• Dataset: eno at d719223
• Size: 237,500 training samples
• Columns: text and noisy
• Approximate statistics based on the first 1000 samples:

  	text	noisy
  type	string	string
  details	min: 10 tokensmean: 127.79 tokensmax: 512 tokens	min: 3 tokensmean: 55.84 tokensmax: 512 tokens

• Samples:

  text	noisy
  Fredagen den 14de Marts førstkommende, om Eftermiddagen Kl. imellem 2 og 4 Slet, bliver ved Auction første Gang opbuden, for til den Høistbydende at bortsælges: Lyststedet Nr. 8 i Smallegaden paa Friderike berg, med Hauge og 2de Jordlodder der udgjøre omtrent 3 Tdr. Land, hvoraf Heftelsen til Rigsbanken er betal, og hvis Bygninger i Brandcassen ere forsikrede for 8800, Rbd. S. V. tilhørende afg. Cobaksfabriqveur Niels Bechs og efter vende Enke Kirstine Bech, fød Nielsens, alleds Bo. Luctionen holdes paa Stedet selv, og ere AuctionsconAtionerne, Vurderingsforretningerne, samt og ge Huus documenter til Eftersyn forinden hos Boets Curator, Coplift Langhorn, boende paa Halmtorvet Nr. 74 landen Sal, om Eftermiddagen fra Kl. 2 til 5. Eiendommen, hvis øvrige Beskaffenhed erfares af de trykte Placater, kan af Liebhaberne selv tages i Ølesyn, da samme anvises af den Mand som boer paa Stedet. Fredagen den 14de Marts førstkommende, om Eftermiddagen Kl. imellem 2 og 4, bliver ved Auction 4de og si...	14de førstkommende, om Eftermiddagen imellem Slet, bliver første opbuden, for den Høistbydende bortsælges: Nr. Friderike berg, 2de Jordlodder der Tdr. til er og i Brandcassen ere forsikrede Rbd. afg. Niels Bechs Enke Bech, selv, og AuctionsconAtionerne, samt Huus Eftersyn forinden hos Boets Coplift Halmtorvet Nr. Sal, om Eftermiddagen Kl. Eiendommen, øvrige Beskaffenhed af selv i anvises Mand paa Stedet. den 14de Marts om og 4, bliver ved sidste til Pakhuset beliggende i lille paa Christianshavn, S. V. tilhørende Grosserer Schambak Sælboes Bo. selv, ere Auctions øvrige Documenter, forinden hos Koford, paa Kongens Nytorv Nr.
  Domme, afsagte i den Kongelige Lands-Overret i Viborg, Mandagen den 25de Mai 1835.	Domme, afsagte den Kongelige Lands-Overret Viborg,
  Den 7de September er Underrets=Advocat Johann Christoph Wiese i Utersen allernaadigst beskikket til Regierings Over- og Landrets=Advocat i Hertugdømmene. Den 28de Henrich Wille til Stadsmusicant i Staden og Fæstningen, samt ved Slots- og Garnisons Meenigheden, i Glückstadt. Den 19de October Borgeren Jacob Paulsen i Husum confirmeret at Rvære aadmand sammesteds. Den 26de f. M. Kiøbmand Jens Georg Eggert von Schoon til surnumerair Raadmand i Altona. Den 23de November Mag. An gust Niemann i Kiel til Archivarius ved det der endnu værende forrige Geheime-Conseils Archiv. Den 30te f. M. Raadmand Claus Friderich Jebens til anden Borgemester i Frederichstadt; og Stads=Casserer, Hinrich Ehmke, til Raadmand i Neustadt. Den 7de December: Magistri philosophiæ og Adjuncti Facultatis philosophicæ, Frederich PhilosoValentiner og August Niemann, til Professores phiæ extraordinarii i Kiel; og Cancellieraad Johann Christian von Jessen til Herredsfoged i Hvidding, og Nordrerangstrup Herred, samt Kirkeskr...	Den Underrets=Advocat Christoph Wiese beskikket til Over- i Wille og Meenigheden, i October Jacob Paulsen Husum at Den 26de von Schoon til surnumerair Den 23de Niemann i til endnu værende forrige Geheime-Conseils 30te Raadmand Claus Frederichstadt; til Neustadt. 7de Magistri Frederich og extraordinarii Kiel; til Herredsfoged i Hvidding, Herred, og i Gram-Herred Amt.

• Loss: DenoisingAutoEncoderLoss

Evaluation Dataset

eno

• Dataset: eno at d719223
• Size: 12,500 evaluation samples
• Columns: text and noisy
• Approximate statistics based on the first 1000 samples:

  	text	noisy
  type	string	string
  details	min: 12 tokensmean: 130.06 tokensmax: 512 tokens	min: 3 tokensmean: 57.68 tokensmax: 512 tokens

• Samples:

  text	noisy
  Hvor et lidet Fag Skuevinduer med alt Tilbehør er tilkiøbs, samt hvor der er Logi for honette Folkes Børn, fra Landet, anviser Adressecontoiret.	Skuevinduer med hvor for honette fra Adressecontoiret.
  Da det academiske Senat i Jena ifølge Storhertugen af Weimars, i sidste Avis omtalte, Rescript, endskiønt det ikke kunde fornægte den Overbeviisnu som i dets underdanigste Beretning var lagt for Dagen, havde forelagt Professor Oken de bestemte Alternativer, forlangte denne tre Dages Frist til Overveielse. I dette Tidsruindløb hans Erklæring, at han, paa det giorte Andragende aldeles Jntet havde at svare" Jfølge heraf blev, ved et Storhertugeligt Rescript til Universitetet, Professor Oken afsat fra sit Embede.	Da academiske Jena ifølge Weimars, i sidste Avis ikke Overbeviisnu som i Beretning Dagen, bestemte denne tre Dages til dette Tidsruindløb det aldeles havde Jfølge ved et Oken Embede.
  Ledigt Embede. Et Copiist-Embede i Kjøbenhavns Raadstues 2det Secretariat (opslaaet vacant 21 Novbr.)	Embede. i Raadstues Secretariat (opslaaet

• Loss: DenoisingAutoEncoderLoss

Training Hyperparameters

Non-Default Hyperparameters

• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• dataloader_num_workers: 4

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.3.0
• Transformers: 4.57.1
• PyTorch: 2.9.0+cu128
• Accelerate: 1.11.0
• Datasets: 4.4.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

DenoisingAutoEncoderLoss

@inproceedings{wang-2021-TSDAE,
    title = "TSDAE: Using Transformer-based Sequential Denoising Auto-Encoderfor Unsupervised Sentence Embedding Learning",
    author = "Wang, Kexin and Reimers, Nils and Gurevych, Iryna",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    pages = "671--688",
    url = "https://arxiv.org/abs/2104.06979",
}