SentenceTransformer based on Atipico1/bert-checkpoint-980000

This is a sentence-transformers model finetuned from Atipico1/bert-checkpoint-980000. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Atipico1/bert-checkpoint-980000
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Atipico1/my-retriever")
# Run inference
sentences = [
    '오큐바이트 루테인은 어떤 용도로 사용되나요?',
    '오큐바이트 루테인은 연령 관련 황반변성을 치료하는 데 사용되는 비타민 및 미네랄 보충제입니다. 처방전 없이 구입할 수 있습니다. 연령 관련 황반변성(AMD 또는 간단히 황반변성)은 노화와 관련된 일반적인 안구 질환입니다.',
    '오큐바이트 루테인에 대해 알아야 할 사항. 오큐바이트 루테인. 기본적인 감각 중 우리가 가장 중요하게 생각하는 것은 시각입니다. 모든 사람에게 시력이 매우 중요하기 때문에 눈의 건강을 보존하기 위해 시력 보충제가 공식화되었습니다. 오큐바이트 루테인은 우리 눈에 영양을 공급하는 천연 보충제입니다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Dataset: eval
• Evaluated with TripletEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 27,875 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokensmean: 10.94 tokensmax: 72 tokens	min: 12 tokensmean: 81.52 tokensmax: 392 tokens	min: 6 tokensmean: 82.26 tokensmax: 436 tokens

• Samples:

  anchor	positive	negative
  FDA는 어떻게 소비자를 보호하나요?	PDF 만들기. 미국 식품의약국(FDA) 및 연방거래위원회(FTC)의 식이 보충제 안전, 사기 및 기타 소비자 보호 문제에 대한 정보.또한 보고서 또는 불만 사항을 제출하는 방법에 대한 정보도 제공합니다.미국 식품의약국(FDA)의 특정 식이 보충제에 대한 안전 경고. 식이 보충제와 관련된 건강 문제를 보고하기 위한 웹 링크를 제공합니다.	실내 태닝의 위험에 대해 소비자를 보호하고 알리기 위해 FDA는 선탠 제품 및 선탠 제품에서 사용하기 위한 UV 램프에 대한 규제를 변경하고 있습니다.
  세계무역기구(WTO)는 어느 해에 출범했나요?	1995년 WTO의 설립은 국가들이 양자간 무역 마찰을 해결하기 위한 주요한 새로운 체제를 도입했습니다. 1995년 이후 미국은 무역 파트너에 대해 114건의 공식 분쟁을 제기했으며, 이는 전 세계적으로 제기된 모든 사건의 20% 이상입니다. 이는 친구와 적 모두에게 도전했습니다.	대대적인 정책 전환으로 트럼프는 세계무역기구를 무시할 것을 제안합니다. 미국이 WTO 협정을 위반하면 어떤 영향이 있을까요... 1995년에 설립된 세계무역기구(WTO)는 국제 무역을 감독하고 자유화하는 것을 목표로 하고 있나요? 세계무역기구의 기능은 무엇인가요? WTO(세계무역기구)는 무엇인가요?
  과장법 정의 문학	과장법. 정의: 과장법은 작가가 더 웅장하고 눈에 띄는 효과를 내기 위해 진술의 기본 요지를 과장하고 과도하게 강조하는 특정 단어와 구를 사용하는 문학적 장치입니다.과장법의 목적은 실생활보다 더 큰 효과를 만들고 특정 포인트를 과도하게 강조하는 것입니다.yperbole. 정의: 과장법은 작가가 더 웅장하고 눈에 띄는 효과를 내기 위해 진술의 기본 요지를 과장하고 과도하게 강조하는 특정 단어와 구를 사용하는 문학적 장치입니다.	문학에서 과장법의 예. 과장법은 단순히 강조를 만들거나 유머러스한 목적으로 과장을 사용하는 것이지만, 문자 그대로 받아들여지도록 의도된 것은 아닙니다. 과장법은 종종 문학에 나타납니다. 1 사전. 2 사전. YD 원본.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 1,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokensmean: 10.92 tokensmax: 39 tokens	min: 17 tokensmean: 80.14 tokensmax: 260 tokens	min: 10 tokensmean: 80.79 tokensmax: 372 tokens

• Samples:

  anchor	positive	negative
  부갑상선 질환은 얼마나 흔한가요?	부갑상선 질환(부갑상선 기능 항진증)은 모든 연령대의 사람들에게 발생하지만 40세에서 75세 사이에 가장 흔합니다. 부갑상선 질환의 증상은 연령에 따라 다릅니다. 부갑상선 기능 항진증이 있는 청소년은 성인과 매우 다른 증상을 보이며, 여성은 남성과 다릅니다.	부갑상선이 무엇인지, 부갑상선이 어디에 있는지, 그리고 부갑상선이 우리의 칼슘 수치를 어떻게 조절하는지 알아보세요. 부갑상선 개요는 이 페이지에서 시작됩니다. 부갑상선 기능 항진증이 소개됩니다. 혈중 칼슘의 조절과 함께 고혈중 칼슘의 의미에 대해 논의합니다.이것이 부갑상선 질환과 고칼슘 수치의 가장 흔한 증상이 신경계(우울증, 약화, 피로 등, 등)와 관련이 있는 이유입니다. 부갑상선 질환의 증상에 대한 자세한 내용은 다른 페이지에서 확인할 수 있습니다. 우리의 근육 시스템에 전기 에너지를 제공하기 위해.
  시에라 모하다(Sierra Mojada)는 어디에 위치해 있나요?	시에라 모하다, 코아우일라, 멕시코. 멕시코 코아우일라 시에라 모하다의 사진 몇 장. 치와와 주 경계에서 토레온에서 195km 마일) 떨어진 시에라 모하다를 지도에서 찾으면, 제공할 것이 거의 없는 마을을 상상할 수 있습니다. 멕시코 코아우일라 시에라 모하다의 Cueva de los Nombres. 1 치와와 주 경계에서 토레온에서 195km 마일) 떨어진 시에라 모하다를 지도에서 찾으면, 제공할 것이 거의 없는 마을을 상상할 수 있습니다. 2 Cueva de los Nombres in Tour By Mexico. 3 Well Arranged Molecules. Grossular, Mexico.	시에라 모하다와 인근 지역의 상세한 지도. 시에라 모하다 구글 위성지도에 오신 것을 환영합니다! 이 장소는 멕시코 코아우일라주 시에라 모하다에 위치해 있으며, 지리적 좌표는 북위 27° 17' 0", 서경 103° 42' 0"입니다. 원래 이름(기호 포함)은 시에라 모하다입니다. 아래는 시에라 모하다의 위성 사진입니다. 멕시코 시에라 모하다의 항공 사진을 탐색해보세요.
  배꼽탈장은 어떤 유형의 의사가 치료하나요?	임신 중에 발생하는 것을 제외하고, 배꼽탈장은 일반적으로 메쉬를 사용하거나 사용하지 않는 표준 개방 수리를 통해 수술적으로 치료됩니다. 베스 이스라엘 탈장 센터의 외과 의사 중 한 명과 약속을 잡으려면 212.844.1555로 전화하십시오. 탈장 센터 및 의사에 대한 질문이 있는 경우 herniacenterny@chpnet.org로 이메일을 보내주십시오. 귀하의 질문에 답변해 드리겠지만 탈장 사진을 센터로 보내지 마십시오.	배꼽탈장이란 무엇인가요? 배꼽탈장은 복벽탈장의 일종이지만, 근육의 구멍이 배꼽에 위치하고 배꼽에 돌출된 형태로 나타납니다. 시간이 지남에 따라 'innie' 배꼽이 'outie'가 되는 환자는 아마도 배꼽탈장이 발생한 것입니다.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 1e-05
• num_train_epochs: 10
• warmup_steps: 100
• bf16: True
• dataloader_drop_last: True

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 100
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs