SentenceTransformer based on Qwen/Qwen3-Embedding-4B
This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for retrieval.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: Qwen/Qwen3-Embedding-4B
- Maximum Sequence Length: 384 tokens
- Output Dimensionality: 2560 dimensions
- Similarity Function: Cosine Similarity
- Supported Modality: Text
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
(1): Pooling({'embedding_dimension': 2560, 'pooling_mode': 'lasttoken', 'include_prompt': True})
(2): Normalize({})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
'Quais os parâmetros de dimensionamento para equipamentos de utilização coletiva?',
]
documents = [
'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
'Artigo 100.º – Circulação interior\n1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;\n2 - A largura mínima das faixas de circulação é de:\na) 4,50 metros em estacionamento a 45.º;\nb) 5 metros em estacionamento a 60.º;\nc) 5,50 metros em estacionamento a 90.º;\nd) 4 metros em estacionamento longitudinal;\ne) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;\nf ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;\ng) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.\n(ver documento original)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4313, 0.4313, 0.1482]])
Evaluation
Metrics
Information Retrieval
- Datasets:
urban-ir-gold-validation-rmue_faroandurban-ir-gold-span-validation-rmue_faro - Evaluated with InformationRetrievalEvaluator with these parameters:
{ "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:" }
| Metric | urban-ir-gold-validation-rmue_faro | urban-ir-gold-span-validation-rmue_faro |
|---|---|---|
| cosine_accuracy@1 | 0.8182 | 0.7917 |
| cosine_accuracy@3 | 0.9091 | 0.9167 |
| cosine_accuracy@5 | 0.9091 | 0.9167 |
| cosine_accuracy@10 | 0.9091 | 0.9167 |
| cosine_precision@1 | 0.8182 | 0.7917 |
| cosine_precision@3 | 0.3939 | 0.3056 |
| cosine_precision@5 | 0.2545 | 0.1833 |
| cosine_precision@10 | 0.1545 | 0.0917 |
| cosine_recall@1 | 0.5303 | 0.7917 |
| cosine_recall@3 | 0.6742 | 0.9167 |
| cosine_recall@5 | 0.7197 | 0.9167 |
| cosine_recall@10 | 0.8333 | 0.9167 |
| cosine_ndcg@10 | 0.7695 | 0.8651 |
| cosine_mrr@10 | 0.8485 | 0.8472 |
| cosine_map@100 | 0.7019 | 0.8507 |
Training Details
Training Dataset
Unnamed Dataset
- Size: 82 training samples
- Columns: anchor, positive, negative_1, and negative_2
- Approximate statistics based on the first 82 samples:
anchor positive negative_1 negative_2 type string string string string modality text text text text details min: 8 tokensmean: 72.98 tokensmax: 384 tokens min: 300 tokensmean: 353.66 tokensmax: 370 tokens min: 311 tokensmean: 353.2 tokensmax: 377 tokens min: 196 tokensmean: 348.57 tokensmax: 374 tokens - Samples:
anchor positive negative_1 negative_2 Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda... Artigo 18.º Espaços Equipados e Áreas Técnicas 1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa. 2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca Seca. 3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente identificados na Planta de Intervenção: a) Bilheteira e zona de espera; b) Largo da Igreja; c) Praia do Porto de Pesca; d) Praça Multiusos e campo de futebol informal em areia com vedação; e) Área Técnica - Plataforma de Trabalho; f) Área Técnica - Doca Seca; g) Área Técnica - RSU e Valorizáveis. 4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec... 34 Edifício na Rua Frei Lourenço de Santa Maria (arqt MGC) Rua Frei Lourenço de Santa Maria 35 Ermida de Nossa Senhora da Esperança Alto da Esperança 36 Posto Fixo de Fiscalização da Polícia de Viação e Trânsito, PVT, no Largo de Camões / Posto de Informação para Jovens Largo de Camões 37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11 38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75 39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42 40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59 41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire; Rua Conselheiro Sebastião Teles 42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14 43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de Loulé 44 Edifício na Rua Gonçalo Barreto, 14 / Residencial Condado Rua Gonçalo Barreto, 14; Rua Brito Cabreira Revisão do Plano Diretor Municipal Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso? a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda... Artigo 18.º Espaços Equipados e Áreas Técnicas 1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa. 2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca Seca. 3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente identificados na Planta de Intervenção: a) Bilheteira e zona de espera; b) Largo da Igreja; c) Praia do Porto de Pesca; d) Praça Multiusos e campo de futebol informal em areia com vedação; e) Área Técnica - Plataforma de Trabalho; f) Área Técnica - Doca Seca; g) Área Técnica - RSU e Valorizáveis. 4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec... 34 Edifício na Rua Frei Lourenço de Santa Maria (arqt MGC) Rua Frei Lourenço de Santa Maria 35 Ermida de Nossa Senhora da Esperança Alto da Esperança 36 Posto Fixo de Fiscalização da Polícia de Viação e Trânsito, PVT, no Largo de Camões / Posto de Informação para Jovens Largo de Camões 37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11 38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75 39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42 40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59 41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire; Rua Conselheiro Sebastião Teles 42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14 43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de Loulé 44 Edifício na Rua Gonçalo Barreto, 14 / Residencial Condado Rua Gonçalo Barreto, 14; Rua Brito Cabreira Revisão do Plano Diretor Municipal 4 — Em loteamentos, ou operações urbanísticas com impacte semelhante a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-namento público na proporção de 50 % dos lugares privativos exigíveis para as frações habitacionais, em número igual ou superior aos lugares privativos das frações não habitacionais e em dobro dos lugares exigíveis para as frações destinadas a estabelecimentos de restauração e bebidas igual ou superior a 120 m², no caso de ser conhecida a dimensão dos fogos;b) 1,5 lugares de estacionamento por cada 120 m² de área bruta de cons-trução afeta à habitação, no caso de ser desconhecida a dimensão dos fogos.3 — Em edifícios ou áreas destinadas a comércio e ou serviços, deve, sem prejuízo do disposto em legislação especifica, ser criado um parqueamento no interior do prédio ou parcela, equivalente a:a) Um lugar de estacionamento por cada 50 m² de área bruta;b) Um lugar de estacionamento por cada dois quartos de estabeleci-mentos hoteleiros;4 — Em loteamentos, ou operações urbanísticas com impacte semelhante a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-namento público na proporção de 50 % dos lugares privativos exigíveis para as frações habitacionais, em número igual ou superior aos lugares privativos das frações não habitacionais e em dobro dos lugares exigíveis para as frações destinadas a estabelecimentos de restauração e bebidas.... e infraestruturais como no respeitante a impactes visuais e paisagísti-cos;c) Seja dado cumprimento às disposições respeitantes a servidões administrativas ou restrições de utilidade pública, eventualmente exis-tentes para o local.ANEXORepublicação do Regulamento do Plano Diretor Municipal de Vila Real, publicado no Diário da República, Aviso n.º 7317/2011, 2.ª série, n.º 57 de 22 de março de 2011CAPÍTULO IDisposições geraisArtigo 1.ºÂmbito territorialO presente Plano estabelece as regras a que deve obedecer a ocupação, o uso e a transformação do solo no âmbito do Plano Diretor Municipal de Vila Real, adiante designado por PDM ou Plano, que abrange a totalidade do território do concelho de Vila Real. SUBSECÇÃO IICritérios de perequação compensatóriaArtigo 83.º[...]1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e Unidades de Execução definidas no artigo 85.º, um direito abstrato de construir dado pelo produto do índice médio de utilização pela área d... se refere a alínea b) do artigo anterior, o índice médio de utilização e a cedência média são os resultantes da ocupação estabelecida em acordo com a Planta de Ordenamento — Qualificação do Solo e o presente Regulamento.4 — Nas situações em que ocorrem diferentes usos ou tipologias, pode a edificabilidade ser afetada de coeficiente de homogeneização, função da relação entre o valor do custo de construção e o valor de venda verificados na área geográfica em apreço.Artigo 83.ºAplicação1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e Unidades de Execução definidas no artigo 85.º, um direito abstrato de áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas viárias e equipamentos, dimensionadas do seguinte modo:a) Para a cidade de Vila Real de acordo com os parâmetros seguintes:i) Para espaços verdes e de utilização coletiva e equipamentos: 9354 Diário da República, 2.ª série — N.º 63 — 29 de março de 2018 construir dado pelo produto do í... - Loss: MultipleNegativesRankingLoss with these parameters:
{ "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 }
Evaluation Dataset
Unnamed Dataset
- Size: 45 evaluation samples
- Columns: anchor and positive
- Approximate statistics based on the first 45 samples:
anchor positive type string string modality text text details min: 6 tokensmean: 104.11 tokensmax: 384 tokens min: 42 tokensmean: 329.04 tokensmax: 377 tokens - Samples:
anchor positive Qual a inclinação máxima das rampas em solo urbano e espaço central? Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe... Qual a largura de circulação nos estacionamentos cobertos? Artigo 100.º – Circulação interior1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;2 - A largura mínima das faixas de circulação é de:a) 4,50 metros em estacionamento a 45.º;b) 5 metros em estacionamento a 60.º;c) 5,50 metros em estacionamento a 90.º;d) 4 metros em estacionamento longitudinal;e) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;f ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;g) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.(ver documento original) Qual a largura de circulação nos estacionamentos cobertos? Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe... - Loss: MultipleNegativesRankingLoss with these parameters:
{ "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 }
Training Hyperparameters
Non-Default Hyperparameters
per_device_train_batch_size: 16num_train_epochs: 25.0learning_rate: 1e-05warmup_steps: 0.2optim: adamw_torchweight_decay: 0.01gradient_accumulation_steps: 2bf16: Truegradient_checkpointing: Trueper_device_eval_batch_size: 16remove_unused_columns: Falseprompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}batch_sampler: no_duplicates
All Hyperparameters
per_device_train_batch_size: 16num_train_epochs: 25.0max_steps: -1learning_rate: 1e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0.2optim: adamw_torchoptim_args: Noneweight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 2average_tokens_across_devices: Truemax_grad_norm: 1.0label_smoothing_factor: 0.0bf16: Truefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Truegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 16prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Falseignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Noneremove_unused_columns: Falselabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonewarmup_ratio: Nonelocal_rank: -1prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}batch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}
Training Logs
| Epoch | Step | Training Loss | Validation Loss | urban-ir-gold-validation-rmue_faro_cosine_ndcg@10 | urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10 |
|---|---|---|---|---|---|
| 0.3333 | 1 | 1.5928 | - | - | - |
| 0.6667 | 2 | 1.4850 | - | - | - |
| 1.0 | 3 | 0.7483 | 0.8777 | 0.6995 | 0.8343 |
| 1.3333 | 4 | 1.6372 | - | - | - |
| 1.6667 | 5 | 1.3527 | - | - | - |
| 2.0 | 6 | 1.1608 | 0.8700 | 0.7042 | 0.8343 |
| 2.3333 | 7 | 1.5172 | - | - | - |
| 2.6667 | 8 | 1.2501 | - | - | - |
| 3.0 | 9 | 1.2083 | 0.8531 | 0.7024 | 0.8343 |
| 3.3333 | 10 | 1.1284 | - | - | - |
| 3.6667 | 11 | 1.2114 | - | - | - |
| 4.0 | 12 | 0.7866 | 0.8350 | 0.7070 | 0.8398 |
| 4.3333 | 13 | 0.9812 | - | - | - |
| 4.6667 | 14 | 0.9855 | - | - | - |
| 5.0 | 15 | 0.8961 | 0.8096 | 0.6935 | 0.8552 |
| 5.3333 | 16 | 0.7055 | - | - | - |
| 5.6667 | 17 | 0.7341 | - | - | - |
| 6.0 | 18 | 0.3764 | 0.8019 | 0.6976 | 0.8705 |
| 6.3333 | 19 | 0.4954 | - | - | - |
| 6.6667 | 20 | 0.5680 | - | - | - |
| 7.0 | 21 | 0.3846 | 0.8068 | 0.7012 | 0.8651 |
| 7.3333 | 22 | 0.4438 | - | - | - |
| 7.6667 | 23 | 0.5534 | - | - | - |
| 8.0 | 24 | 0.1244 | 0.7993 | 0.7432 | 0.8651 |
| 8.3333 | 25 | 0.4373 | - | - | - |
| 8.6667 | 26 | 0.3694 | - | - | - |
| 9.0 | 27 | 0.2268 | 0.7892 | 0.7401 | 0.8651 |
| 9.3333 | 28 | 0.3661 | - | - | - |
| 9.6667 | 29 | 0.4009 | - | - | - |
| 10.0 | 30 | 0.3294 | 0.7760 | 0.7729 | 0.8651 |
| 10.3333 | 31 | 0.3194 | - | - | - |
| 10.6667 | 32 | 0.4141 | - | - | - |
| 11.0 | 33 | 0.2034 | 0.7761 | 0.7729 | 0.8651 |
| 11.3333 | 34 | 0.4239 | - | - | - |
| 11.6667 | 35 | 0.3691 | - | - | - |
| 12.0 | 36 | 0.0979 | 0.7833 | 0.7682 | 0.8651 |
| 12.3333 | 37 | 0.3230 | - | - | - |
| 12.6667 | 38 | 0.4131 | - | - | - |
| 13.0 | 39 | 0.1246 | 0.7871 | 0.7406 | 0.8651 |
| 13.3333 | 40 | 0.3570 | - | - | - |
| 13.6667 | 41 | 0.3472 | - | - | - |
| 14.0 | 42 | 0.4464 | 0.7865 | 0.7359 | 0.8651 |
| 14.3333 | 43 | 0.2088 | - | - | - |
| 14.6667 | 44 | 0.4334 | - | - | - |
| 15.0 | 45 | 0.1387 | 0.7876 | 0.7359 | 0.8651 |
| 15.3333 | 46 | 0.2989 | - | - | - |
| 15.6667 | 47 | 0.3873 | - | - | - |
| 16.0 | 48 | 0.0385 | 0.7913 | 0.7376 | 0.8651 |
| 16.3333 | 49 | 0.2334 | - | - | - |
| 16.6667 | 50 | 0.4588 | - | - | - |
| 17.0 | 51 | 0.2951 | 0.7865 | 0.7406 | 0.8651 |
| 17.3333 | 52 | 0.2532 | - | - | - |
| 17.6667 | 53 | 0.3176 | - | - | - |
| 18.0 | 54 | 0.4887 | 0.7889 | 0.7741 | 0.8651 |
| 18.3333 | 55 | 0.2629 | - | - | - |
| 18.6667 | 56 | 0.3022 | - | - | - |
| 19.0 | 57 | 0.2417 | 0.7889 | 0.7359 | 0.8651 |
| 19.3333 | 58 | 0.3220 | - | - | - |
| 19.6667 | 59 | 0.3007 | - | - | - |
| 20.0 | 60 | 0.1818 | 0.7893 | 0.7359 | 0.8651 |
| 20.3333 | 61 | 0.3383 | - | - | - |
| 20.6667 | 62 | 0.3835 | - | - | - |
| 21.0 | 63 | 0.2829 | 0.7911 | 0.7406 | 0.8651 |
| 21.3333 | 64 | 0.4125 | - | - | - |
| 21.6667 | 65 | 0.3724 | - | - | - |
| 22.0 | 66 | 0.1291 | 0.7895 | 0.7741 | 0.8651 |
| 22.3333 | 67 | 0.2527 | - | - | - |
| 22.6667 | 68 | 0.3994 | - | - | - |
| 23.0 | 69 | 0.0865 | 0.7904 | 0.7359 | 0.8651 |
| 23.3333 | 70 | 0.3768 | - | - | - |
| 23.6667 | 71 | 0.2997 | - | - | - |
| 24.0 | 72 | 0.1321 | 0.7903 | 0.7359 | 0.8651 |
| 24.3333 | 73 | 0.2395 | - | - | - |
| 24.6667 | 74 | 0.3920 | - | - | - |
| 25.0 | 75 | 0.1502 | 0.7884 | 0.7695 | 0.8651 |
Training Time
- Training: 13.7 minutes
- Evaluation: 2.2 minutes
- Total: 15.8 minutes
Framework Versions
- Python: 3.12.11
- Sentence Transformers: 5.5.1
- Transformers: 5.10.2
- PyTorch: 2.12.0+cu130
- Accelerate: 1.13.0
- Datasets: 5.0.0
- Tokenizers: 0.22.2
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MultipleNegativesRankingLoss
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}