SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer

• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'это программная история в первую очередь а не аппаратная по аппаратной части карты amd не уступают nvidia в пользу зеленых работает расширенная поддержка движков популярность разработчиков вложения в разработку итд итп',
    'в SA в принципе идет улучшение картинки но пока не особо приятно читать текст SA у тебя обновится на последнюю версию если прошивка последняя актуальная стоит 55 если у тебя ниже то качай апк для шлема с сайта httpwwwowomushicompicostreamingassistant а на шлем с оф сайта Pico\nжелезка у тебя мягко скажем не самая подходящая под VR\nпоиграть можно но не с царским размахом на качество',
    'а я смотрю вы эксперт в качестве сжатия )))) \nдаже стримеры брезгуют использовать аппаратное сжатие, зачем то покупают отдельные пк под сжатие стримов в реалтайм вместо того чтобы просто на gpu сжимать.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7468, 0.4876],
#         [0.7468, 1.0000, 0.3165],
#         [0.4876, 0.3165, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 9,999 training samples
• Columns: sentence_0, sentence_1, and sentence_2
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  modality	text	text	text
  details	min: 22 tokensmean: 72.79 tokensmax: 256 tokens	min: 6 tokensmean: 64.22 tokensmax: 256 tokens	min: 8 tokensmean: 69.34 tokensmax: 198 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Затея Кулича с процессором Ryzen 7 7700X — разумная. Для сегодняшних игр его хватит выше крыши. А позже, если его вдруг будет не хватать, можно будет заменить его на любой актуальный Ryzen 9. Вот здесь он эту идею поясняет:https://youtu.be/Rq-vviFgC3UХотя я сегодня смотрел видео от iXBT, где рассказали, что консоли не будут обновляться ещё лет 5. Мол, они уже пробовали в прошлом выпускать апгрейды (как PS4 Pro), но они имели очень плохие продажи, и во второй раз производители консолей наступать на эти грабли не хотят. То есть, после PS5 ближайший апгрейд — это PS6, году эдак в 2028-м.Это означает, что видеокарт RTX 30 хватит на все новые игры в ближайшие 5 лет. Ну а RTX 40 — и подавно.	я слышал про жм но это выглядит страшно металл проводит ток и капелька металла попав на ножки процессора или любой другой микросхемы может их закоротить а почти все традиционные термопасты — наоборот диэлектрикино поскольку я собираюсь ставить amd ryzen последнего поколения то мне это не актуально у них не очень хорошая передача тепла от чипа к металлической крышке процессора слышал что по этой причине мазать крышку жм — бесполезно чип холоднее не станет а доя передачи тепла от крышки процессора в башню кулера достаточно обычной термопасты	ну пико более практичные более универсальныеразрешение еще больше на глаз у них немного чем у ps vr 2 я в ps vr 2 не играл так что ничего по поводу них сказать не могу по сути но пико зашлив принципе есть же аналоги битсайбера вполне неплохие без пк играются но если нужен прям обязательно битсайбер и все тогда да нужен комп
  Бля Только что приснился трейлер 3Dфильма Китайскоамериканское совместное производство Название то ли Insole то ли Insoul Спецагент отправляется за 6 тыс млн миллиардов км чтобы открыть новое созвездие и гигантский сталактит который уходит до глубины истоков Вселенной Быстро проснулся загуглил а пока даже сценария нет Но трейлер чёткий Буду кофе пить	если не ошибаюсь то после уточнения рецепта они сделали в течении 2 дней и предоставили трек вообще там с ними всё в личных сообщениях решается я ещё с antiblue заказывал не знаю что оно мне дало но доплатил	не ну то что так можно и ежу понятно. Вопрос будет ли с неё установленное чего запускаться, вот это интереснода не. я против таких решений да и все флешки для своих задач. Я может и не прав но это блэть как в чайнике пельмени варить!
  нет, ты заказываешь товар, который тяжело проверить, например матрица для ноута, и вместо новой/бу, но исправной матрицы тебе присылают нерабочий шлак, с полосами мерцающими	Да мне похуй, я быдло из Королёва, находимся в интернете, где ответственность за слова условная, тем более ты мне уже на большее количество оскорблений нервов потрепал, а про время так вообще молчу	я вообще никогда не подтверждаю там хоть кнопка и есть но кнопка автоматом испаряется если товар доходит до твоих рук както так странно это работаетоднако спор можно как я понял в течение 2 недель открыть

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.COSINE",
      "triplet_margin": 0.5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• num_train_epochs: 1
• per_device_eval_batch_size: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

• per_device_train_batch_size: 4
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 4
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 14.0 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.12.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}