SentenceTransformer based on x2bee/KoModernBERT-base-mlm-ecs-simcse

This is a sentence-transformers model finetuned from x2bee/KoModernBERT-base-mlm-ecs-simcse. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: x2bee/KoModernBERT-base-mlm-ecs-simcse
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x2bee/ModernBERT-ecs-GIST")
# Run inference
sentences = [
    '다지기 기구는 재료를 효과적으로 다지고 혼합할 수 있는 주방 도구이다. 이 기구는 주로 요리 시 재료의 결합과 질감을 향상시키기 위해 사용된다. 다지기 기구는 다양한 크기와 형태로 제공되어, 사용자의 필요에 맞게 선택할 수 있다. 이를 통해 요리의 품질을 높이고, 조리 시간을 단축할 수 있다.',
    '다지기 기구는 음식을 조리할 때 재료를 잘 섞고 부드럽게 만드는 데 도움을 주는 필수 주방 도구이다. 이는 요리의 맛과 질을 개선하고, 요리 과정을 보다 효율적으로 만들어 준다.',
    '다지기 기구는 재료를 혼합하지 않고 오히려 재료를 분리하는 주방 도구이다. 이는 요리를 할 때 전혀 도움이 되지 않는다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: test_triplet
• Evaluated with TripletEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,799,998 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 17 tokensmean: 70.96 tokensmax: 152 tokens	min: 15 tokensmean: 53.97 tokensmax: 153 tokens	min: 14 tokensmean: 49.48 tokensmax: 150 tokens

• Samples:

  anchor	positive	negative
  주방 수납 용품은 주방 내에서 조리 도구, 식기 및 기타 용품을 효율적으로 정리하고 보관할 수 있도록 도와주는 다양한 제품들이다.	주방용품은 요리 도구와 식기 같은 물건들을 잘 정리하고 저장하기 위해 여러 가지 방식으로 디자인된 제품이다.	주방 수납 용품은 조리 도구나 식기를 정리하는 데 전혀 도움이 되지 않는 제품들이다.
  이염 방지 용품은 다양한 소재의 제품에서 발생할 수 있는 이염을 예방하기 위한 용품이다.	이염 방지 용품은 여러 가지 재료로 만들어진 제품에서 발생할 수 있는 색이 번지는 현상을 막기 위해 만들어진 것이다.	이염 방지 용품은 오직 단일한 소재의 제품에서만 사용할 수 있다.
  차량 핸들 커버는 자동차 핸들을 보호하고 미끄럼을 방지하며, 더욱 편안한 그립감을 제공하는 제품이다.	자동차 핸들을 덮는 커버는 핸들의 마모를 방지하고, 운전 시 지탱력을 높이며, 쥐는 느낌을 향상시키는 용품이다.	차량 핸들 커버는 핸들을 보호하지 않으며, 미끄럼을 방지하는 기능이 없다.

• Loss: CachedGISTEmbedLoss with these parameters:

  {'guide': SentenceTransformer(
    (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
    (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (2): Normalize()
  ), 'temperature': 0.01}
  

Evaluation Dataset

Unnamed Dataset

• Size: 200,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 18 tokensmean: 70.19 tokensmax: 151 tokens	min: 15 tokensmean: 53.27 tokensmax: 155 tokens	min: 15 tokensmean: 48.68 tokensmax: 138 tokens

• Samples:

  anchor	positive	negative
  다중지능 평가 도구는 개인의 다양한 지능 유형을 평가하여 강점과 약점을 파악하는 데 도움을 주는 도구이다.	다중지능 평가 도구는 각 개인이 가진 여러 지능의 특징을 분석하여 이들의 장단점을 이해하도록 도와주는 기구다.	다중지능 평가 도구는 개인의 지능 유형을 전혀 평가하지 못하는 도구이다.
  데이터베이스 설계에 관한 책은 데이터베이스 구조와 설계 원칙을 설명하는 참고서로, 효과적인 데이터 저장 및 관리 방법을 제시한다.	책에 담긴 내용은 데이터베이스의 설계 및 구조화 방식에 대한 정보를 제공하며, 이는 데이터의 효율적인 저장과 관리를 위한 기초 지식이다.	이 책은 데이터베이스 설계와 관련된 내용을 포함하고 있지 않으며, 효과적인 데이터 저장 방법을 전혀 언급하지 않는다.
  14K, 18K 코티체 사각 컷팅 귀걸이는 고급스러운 14K 또는 18K 금으로 제작된 귀걸이로, 사각 형태의 컷팅 디자인이 특징인 세련된 액세서리이다.	세련된 디자인과 고급 재료로 만들어진 귀걸이는 14K 또는 18K 금으로 제작된 사각 컷 악세서리이다.	14K 또는 18K 금으로 만들어진 컷팅이 없는 귀걸이는 고급스럽지 않다.

• Loss: CachedGISTEmbedLoss with these parameters:

  {'guide': SentenceTransformer(
    (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
    (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
    (2): Normalize()
  ), 'temperature': 0.01}
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• eval_strategy: steps
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 16
• learning_rate: 1e-05
• warmup_ratio: 0.2
• push_to_hub: True
• hub_model_id: x2bee/ModernBERT-ecs-GIST
• hub_strategy: checkpoint
• batch_sampler: no_duplicates

All Hyperparameters

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.2
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: x2bee/ModernBERT-ecs-GIST
• hub_strategy: checkpoint
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Framework Versions

• Python: 3.11.10
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}