SentenceTransformer based on Qwen/Qwen3-Embedding-4B
This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for retrieval.
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: Qwen/Qwen3-Embedding-4B
- Maximum Sequence Length: 512 tokens
- Output Dimensionality: 2560 dimensions
- Similarity Function: Cosine Similarity
- Supported Modality: Text
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
(1): Pooling({'embedding_dimension': 2560, 'pooling_mode': 'lasttoken', 'include_prompt': True})
(2): Normalize({})
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
'2 - Os parâmetros para o dimensionamento das áreas a ceder para o domínio municipal são os definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada',
]
documents = [
'Artigo 53.º – Cedências\n1 - Os promotores das operações de loteamento e de outras operações urbanísticas às quais, nos termos do RJUE e do presente Regulamento sejam aplicáveis as disposições relativas a cedências, cedem gratuitamente ao Município parcelas para implantação de espaços verdes públicos e equipamentos de utilização coletiva e as infraestruturas urbanísticas que, de acordo com a lei e a licença ou comunicação prévia, devam integrar o domínio municipal.\n2 - Os parâmetros para o dimensionamento das áreas a ceder para o domínio municipal são os definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.\n3 - No caso das operações urbanísticas com impacte relevante, para efeitos de determinação das áreas a ceder para o domínio municipal, bem como da compensação a que eventualmente haja lugar nos termos dos artigos seguintes, o respetivo cálculo deve incidir:\ni) No caso de obras de construção, sobre toda a área de construção;\nii) No caso de obras de ampliação ou de obras de reconstrução com preservação de fachada, sobre o aumento de superfície de pavimento relativamente à situação preexistente.\n4 - As áreas destinadas a espaços verdes públicos, equipamentos de utilização coletiva e as infraestruturas urbanísticas devem ainda obedecer aos seguintes requisitos:\na) Integrar-se no desenho urbano existente ou projetado;\nb) Localizar-se em áreas livres de restrições que condicionem a sua utilização;\nc) Dispor, preferencialmente, de acesso e frente para via ou espaço público;\nd) Possuir configuração e dimensão adequadas aos objetivos tipológicos e funcionais pretendidos;',
'ii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.\nf ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;\ng) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados, bem como ao estacionamento dos mesmos, em número a determinar, caso a caso em função do tipo de indústria ou armazém a instalar;\nh) Deve ainda ser prevista a seguinte proporção para lugares acessíveis a pessoas com mobilidade condicionada:\ni) Um lugar em espaços de estacionamento com uma lotação não superior a 10 lugares;\nii) Dois lugares em espaços de estacionamento com uma lotação compreendida entre 11 e 25 lugares;\niii) Três lugares em espaços de estacionamento com uma lotação compreendida entre 26 e 100 lugares;\niv) Quatro lugares em espaços de estacionamento com uma lotação compreendida entre 101 e 500 lugares;\nv) Um lugar por cada 100 lugares em espaços de estacionamento com uma lotação superior a 500 lugares.\n3 - Para instalação de equipamentos de utilização coletiva, designadamente destinados à satisfação de necessidades nos domínios da saúde, educação, cultura e desporto, deve proceder-se a um estudo de mobilidade e estacionamento que permita definir as necessidades em número de lugares de estacionamento e as condições de acessibilidade.\n4 - A edificabilidade máxima a autorizar em edificações destinadas a estacionamento automóvel (garagens e auto silos) é a que resultar do estrito cumprimento do disposto nos instrumentos de gestão territorial aplicáveis ao local.',
'Artigo 99.º – Monta-carros\nÉ permitida a aplicação de monta-carros em substituição de rampas nos casos plenamente justificados pela dimensão e geometria do lote ou prédio, e ainda pela impossibilidade de circulação interior, cumprindo-se os seguintes requisitos:\na) Devem servir um parqueamento com capacidade máxima de 50 lugares de estacionamento, distribuídos pelo máximo de três pisos;\nb) Prever a aplicação de 1 monta-carros por cada 25 veículos;\nc) A plataforma deve ter as dimensões mínimas livres de 2,50 metros de largura por 5 metros de comprimento;\nd) Não é admissível a instalação de monta-carros em estabelecimentos para serviço público.\n\nArtigo 100.º – Circulação interior\n1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;\n2 - A largura mínima das faixas de circulação é de:\na) 4,50 metros em estacionamento a 45.º;\nb) 5 metros em estacionamento a 60.º;\nc) 5,50 metros em estacionamento a 90.º;\nd) 4 metros em estacionamento longitudinal;\ne) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;\nf ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;\ng) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.\n(ver documento original)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.6095, 0.1304, 0.1271]])
Evaluation
Metrics
Information Retrieval
- Datasets:
urban-ir-gold-validation-rmue_faroandurban-ir-gold-span-validation-rmue_faro - Evaluated with InformationRetrievalEvaluator with these parameters:
{ "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:" }
| Metric | urban-ir-gold-validation-rmue_faro | urban-ir-gold-span-validation-rmue_faro |
|---|---|---|
| cosine_accuracy@1 | 0.6364 | 0.75 |
| cosine_accuracy@3 | 0.9091 | 0.9167 |
| cosine_accuracy@5 | 0.9091 | 0.9167 |
| cosine_accuracy@10 | 0.9091 | 0.9167 |
| cosine_precision@1 | 0.6364 | 0.75 |
| cosine_precision@3 | 0.3939 | 0.3056 |
| cosine_precision@5 | 0.2545 | 0.1833 |
| cosine_precision@10 | 0.1455 | 0.0917 |
| cosine_recall@1 | 0.3712 | 0.75 |
| cosine_recall@3 | 0.7197 | 0.9167 |
| cosine_recall@5 | 0.7652 | 0.9167 |
| cosine_recall@10 | 0.8333 | 0.9167 |
| cosine_ndcg@10 | 0.722 | 0.8552 |
| cosine_mrr@10 | 0.7727 | 0.8333 |
| cosine_map@100 | 0.6458 | 0.8347 |
Training Details
Training Dataset
Unnamed Dataset
- Size: 81 training samples
- Columns: anchor, positive, negative_1, and negative_2
- Approximate statistics based on the first 81 samples:
anchor positive negative_1 negative_2 type string string string string modality text text text text details min: 8 tokensmean: 81.36 tokensmax: 512 tokens min: 419 tokensmean: 473.53 tokensmax: 491 tokens min: 415 tokensmean: 472.67 tokensmax: 493 tokens min: 203 tokensmean: 468.77 tokensmax: 492 tokens - Samples:
anchor positive negative_1 negative_2 Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: 1. O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros: a) Uma área de estacionamento mínima de 11,50 m2 (2,30 m x 5 m) por cada lugar de estacionamento ao ar livre; b) Uma área de construção mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 m em “boxe”, e de 2,30 metros em lugares de estacionamento, sendo que cada área estacionamento terá que garantir uma profundidade disponível de 5 m; c) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 m e 3,50 m respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível. 2. A área de construção a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros: a) 75 m2 (5 m x 15 m), à superfíc... Artigo 10.º Objetivos 1. Neste espaço é permitida a regularização e a requalificação das edificações existentes, do espaço público e do sistema de acessos e serviços. 2. As parcelas com atribuição condicionada de edificabilidade estão identificadas na Planta de Intervenção e no quadro de parâmetros de edificabilidade (quadro sinótico), anexo ao presente documento. 3. Nas parcelas referidas no número anterior admite-se a concretização de obras de conservação e alteração desde que não haja aumento do valor referente à Área Total de Construção. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 137 4. O uso habitacional é dominante, admitindo-se a manutenção de outros usos existentes desde que compatíveis, designadamente ao nível da segurança de pessoas e bens, ruído, vibrações, gases, efluentes, e desde que não causem desequilíbrios ou perda da harmonia da envolvente. Artigo 11.º Ocupação do solo 1.... pública, as operações urbanísticas e os usos do solo identificadas no artigo anterior, quando admitidos, regem-se pelos parâmetros urbanísticos definidos no presente artigo. 2. Os critérios de edificabilidade para esta categoria de espaço devem observar os seguintes parâmetros: a) Habitação: Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 74 i) A área de construção máxima para as obras de alteração e ampliação de edifícios de habitação existentes e para a construção de novos edifícios para habitação, incluindo anexos, é de 300m2, salvo se, a pré-existência tiver área superior, caso em que esse valor será entendido como máximo. ii) Nos casos em que a edificação para habitação inclua um uso complementar compatível de comércio e serviços de escala local, a área de construção máxima para os dois usos é fixada em 400m2, salvo se, a pré-existência tiver área superior, caso em que esse valor será entend... Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso? 1. O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros: a) Uma área de estacionamento mínima de 11,50 m2 (2,30 m x 5 m) por cada lugar de estacionamento ao ar livre; b) Uma área de construção mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 m em “boxe”, e de 2,30 metros em lugares de estacionamento, sendo que cada área estacionamento terá que garantir uma profundidade disponível de 5 m; c) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 m e 3,50 m respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível. 2. A área de construção a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros: a) 75 m2 (5 m x 15 m), à superfíc... Artigo 10.º Objetivos 1. Neste espaço é permitida a regularização e a requalificação das edificações existentes, do espaço público e do sistema de acessos e serviços. 2. As parcelas com atribuição condicionada de edificabilidade estão identificadas na Planta de Intervenção e no quadro de parâmetros de edificabilidade (quadro sinótico), anexo ao presente documento. 3. Nas parcelas referidas no número anterior admite-se a concretização de obras de conservação e alteração desde que não haja aumento do valor referente à Área Total de Construção. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 137 4. O uso habitacional é dominante, admitindo-se a manutenção de outros usos existentes desde que compatíveis, designadamente ao nível da segurança de pessoas e bens, ruído, vibrações, gases, efluentes, e desde que não causem desequilíbrios ou perda da harmonia da envolvente. Artigo 11.º Ocupação do solo 1.... pública, as operações urbanísticas e os usos do solo identificadas no artigo anterior, quando admitidos, regem-se pelos parâmetros urbanísticos definidos no presente artigo. 2. Os critérios de edificabilidade para esta categoria de espaço devem observar os seguintes parâmetros: a) Habitação: Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 74 i) A área de construção máxima para as obras de alteração e ampliação de edifícios de habitação existentes e para a construção de novos edifícios para habitação, incluindo anexos, é de 300m2, salvo se, a pré-existência tiver área superior, caso em que esse valor será entendido como máximo. ii) Nos casos em que a edificação para habitação inclua um uso complementar compatível de comércio e serviços de escala local, a área de construção máxima para os dois usos é fixada em 400m2, salvo se, a pré-existência tiver área superior, caso em que esse valor será entend... 4 — Em loteamentos, ou operações urbanísticas com impacte semelhante a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-namento público na proporção de 50 % dos lugares privativos exigíveis para as frações habitacionais, em número igual ou superior aos lugares privativos das frações não habitacionais e em dobro dos lugares exigíveis para as frações destinadas a estabelecimentos de restauração e bebidas indicado na Planta de Ordenamento — Qualificação do Solo enquanto não estiver aprovado o projeto de execução respetivo, sem prejuízo do dis-posto no artigo 13.º do presente Regulamento, referente a preexistências.Artigo 21.ºEstacionamento1 — Nos edifícios para habitação unifamiliar e bifamiliar, deve ser criada uma área de parqueamento equivalente a dois lugares de estacio-namento por fogo no interior do edifício ou parcela de terreno.2 — Nos edifícios para habitação coletiva, devem ser previstos no interior do edifício ou parcela:a) Um lugar de estacionamento por fogo para fogos com área inferior a 120 m² e dois lugares de estacionamento por fogo para fogos com área igual ou superior a 120 m², no caso de ser conhecida a dimensão dos fogos;b) 1,5 lugares de estacionamento por cada 120 m² de área bruta de cons-trução afeta à habitação, no caso de ser desconhecida a dimensão dos fogos.3 — Em edifícios ou áreas destinadas a comércio e ou serviços, deve, sem prejuízo do dis... Procedimento concursal no âmbito do programa de regularizaçãoextraordinária dos trabalhadorescom vínculos precários, Lei n.º 112/2017, de 29 de dezembroEm cumprimento do n.º 6 do artigo 36.º da Portaria n.º 83 -A/2009, de 22 de janeiro alterada e republicada pela Portaria n.º 145 -A/2011, de 06 de abril, torna -se público que a lista unitária de ordenação final do procedimento concursal de regularização de vínculos precários para preenchimento de um posto de trabalho para a carreira e categoria de Assistente Operacional, para a constituição de vínculo de emprego pú-blico por tempo indeterminado, publicitado na Bolsa de Emprego Público código OE201801/0491, foi homologada em reunião de Órgão Executivo no dia 13 de março de 2018, encontrando -se publicitada em local visível e público das instalações da Freguesia, assim como em http://cm -abrantes.pt/index.php/2014 -11 -27 -18 -15 -49/freguesias/bemposta.16 de março de 2018. — O Presidente da Junta de Freguesia de Bemposta,... d) A plantação da vinha “ao alto” só pode ser efetuada em encostas ou parcelas com declive inicial da encosta inferior a 40 %, exceto quando os solos sejam antrosolos, com maior suscetibilidade à erosão, nomea-damente os correspondentes à unidade cartográfica Tasdx 1.1 da carta de solos de Trás -os -Montes, onde o limite máximo é de 30 %;e) As plantações em parcelas já ocupadas por vinha, olival ou amen-doal armados com muros, ou ainda por mortórios, tem de ser feita com recurso a patamares estreitos ou micropatamares, mantendo muros de suporte, salvo nos casos em que a DRATM dê parecer favorável à sua remoção;f) É interdita a destruição de valores patrimoniais vernáculos (muros de pedra, edifícios vernáculos, calçadas de pedra, mortórios), bem como de núcleos de vegetação arbórea, salvo nos casos devidamente funda-mentados que mereçam parecer favorável da DRATM, nos termos do n.º 4 do Despacho Conjunto n.º 473/2004, de 30 de julho.3 — As novas edificações habitacionais ... - Loss: MultipleNegativesRankingLoss with these parameters:
{ "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 }
Evaluation Dataset
Unnamed Dataset
- Size: 44 evaluation samples
- Columns: anchor and positive
- Approximate statistics based on the first 44 samples:
anchor positive type string string modality text text details min: 6 tokensmean: 121.25 tokensmax: 512 tokens min: 42 tokensmean: 392.16 tokensmax: 495 tokens - Samples:
anchor positive Qual a inclinação máxima das rampas em solo urbano e espaço central? Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe... Qual a largura de circulação nos estacionamentos cobertos? Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe... Qual a largura de circulação nos estacionamentos cobertos? Artigo 99.º – Monta-carrosÉ permitida a aplicação de monta-carros em substituição de rampas nos casos plenamente justificados pela dimensão e geometria do lote ou prédio, e ainda pela impossibilidade de circulação interior, cumprindo-se os seguintes requisitos:a) Devem servir um parqueamento com capacidade máxima de 50 lugares de estacionamento, distribuídos pelo máximo de três pisos;b) Prever a aplicação de 1 monta-carros por cada 25 veículos;c) A plataforma deve ter as dimensões mínimas livres de 2,50 metros de largura por 5 metros de comprimento;d) Não é admissível a instalação de monta-carros em estabelecimentos para serviço público.Artigo 100.º – Circulação interior1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;2 - A largura mínima das faixas de circulação é de:a) 4,50 metros em estacionamento a 45.º;b) 5 metros em estacionamento a 60.º;c) 5,50 metros em estacionamento a 90.º;... - Loss: MultipleNegativesRankingLoss with these parameters:
{ "scale": 20.0, "similarity_fct": "cos_sim", "gather_across_devices": false, "directions": [ "query_to_doc" ], "partition_mode": "joint", "hardness_mode": null, "hardness_strength": 0.0 }
Training Hyperparameters
Non-Default Hyperparameters
per_device_train_batch_size: 16num_train_epochs: 25.0learning_rate: 1e-05warmup_steps: 0.2optim: adamw_torchweight_decay: 0.01gradient_accumulation_steps: 2bf16: Truegradient_checkpointing: Trueper_device_eval_batch_size: 16remove_unused_columns: Falseprompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}batch_sampler: no_duplicates
All Hyperparameters
per_device_train_batch_size: 16num_train_epochs: 25.0max_steps: -1learning_rate: 1e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0.2optim: adamw_torchoptim_args: Noneweight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 2average_tokens_across_devices: Truemax_grad_norm: 1.0label_smoothing_factor: 0.0bf16: Truefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Truegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 16prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Falseignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Noneremove_unused_columns: Falselabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonewarmup_ratio: Nonelocal_rank: -1prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}batch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}
Training Logs
| Epoch | Step | Training Loss | Validation Loss | urban-ir-gold-validation-rmue_faro_cosine_ndcg@10 | urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10 |
|---|---|---|---|---|---|
| 0.3333 | 1 | 1.2402 | - | - | - |
| 0.6667 | 2 | 1.3798 | - | - | - |
| 1.0 | 3 | 1.0917 | 0.7586 | 0.7036 | 0.8135 |
| 1.3333 | 4 | 1.3465 | - | - | - |
| 1.6667 | 5 | 1.4747 | - | - | - |
| 2.0 | 6 | 1.0473 | 0.7534 | 0.7036 | 0.8135 |
| 2.3333 | 7 | 1.1777 | - | - | - |
| 2.6667 | 8 | 1.5266 | - | - | - |
| 3.0 | 9 | 0.7437 | 0.7442 | 0.7056 | 0.8189 |
| 3.3333 | 10 | 1.1545 | - | - | - |
| 3.6667 | 11 | 0.8999 | - | - | - |
| 4.0 | 12 | 1.3345 | 0.7276 | 0.7156 | 0.8343 |
| 4.3333 | 13 | 0.9079 | - | - | - |
| 4.6667 | 14 | 0.9448 | - | - | - |
| 5.0 | 15 | 0.4185 | 0.7145 | 0.7214 | 0.8497 |
| 5.3333 | 16 | 0.6377 | - | - | - |
| 5.6667 | 17 | 0.4995 | - | - | - |
| 6.0 | 18 | 0.7448 | 0.7092 | 0.7220 | 0.8497 |
| 6.3333 | 19 | 0.5069 | - | - | - |
| 6.6667 | 20 | 0.4007 | - | - | - |
| 7.0 | 21 | 0.2009 | 0.7059 | 0.7214 | 0.8552 |
| 7.3333 | 22 | 0.3957 | - | - | - |
| 7.6667 | 23 | 0.4503 | - | - | - |
| 8.0 | 24 | 0.6229 | 0.7002 | 0.7220 | 0.8552 |
| 8.3333 | 25 | 0.4858 | - | - | - |
| 8.6667 | 26 | 0.4058 | - | - | - |
| 9.0 | 27 | 0.1846 | 0.6953 | 0.7220 | 0.8552 |
| 9.3333 | 28 | 0.3358 | - | - | - |
| 9.6667 | 29 | 0.5327 | - | - | - |
| 10.0 | 30 | 0.1530 | 0.6929 | 0.7276 | 0.8552 |
| 10.3333 | 31 | 0.3183 | - | - | - |
| 10.6667 | 32 | 0.4230 | - | - | - |
| 11.0 | 33 | 0.1387 | 0.6887 | 0.7284 | 0.8552 |
| 11.3333 | 34 | 0.2651 | - | - | - |
| 11.6667 | 35 | 0.4177 | - | - | - |
| 12.0 | 36 | 0.2629 | 0.6931 | 0.7228 | 0.8497 |
| 12.3333 | 37 | 0.3034 | - | - | - |
| 12.6667 | 38 | 0.3563 | - | - | - |
| 13.0 | 39 | 0.1541 | 0.6901 | 0.7228 | 0.8497 |
| 13.3333 | 40 | 0.3204 | - | - | - |
| 13.6667 | 41 | 0.4186 | - | - | - |
| 14.0 | 42 | 0.2122 | 0.6886 | 0.7228 | 0.8497 |
| 14.3333 | 43 | 0.2959 | - | - | - |
| 14.6667 | 44 | 0.4003 | - | - | - |
| 15.0 | 45 | 0.1986 | 0.6960 | 0.7220 | 0.8497 |
| 15.3333 | 46 | 0.4169 | - | - | - |
| 15.6667 | 47 | 0.2901 | - | - | - |
| 16.0 | 48 | 0.1417 | 0.6913 | 0.7228 | 0.8497 |
| 16.3333 | 49 | 0.2194 | - | - | - |
| 16.6667 | 50 | 0.3961 | - | - | - |
| 17.0 | 51 | 0.2527 | 0.6943 | 0.7220 | 0.8497 |
| 17.3333 | 52 | 0.2937 | - | - | - |
| 17.6667 | 53 | 0.2657 | - | - | - |
| 18.0 | 54 | 0.2815 | 0.6901 | 0.7220 | 0.8497 |
| 18.3333 | 55 | 0.2949 | - | - | - |
| 18.6667 | 56 | 0.3087 | - | - | - |
| 19.0 | 57 | 0.2254 | 0.6937 | 0.7220 | 0.8497 |
| 19.3333 | 58 | 0.3157 | - | - | - |
| 19.6667 | 59 | 0.3777 | - | - | - |
| 20.0 | 60 | 0.1206 | 0.6945 | 0.7220 | 0.8497 |
| 20.3333 | 61 | 0.2726 | - | - | - |
| 20.6667 | 62 | 0.3580 | - | - | - |
| 21.0 | 63 | 0.1513 | 0.6963 | 0.7220 | 0.8497 |
| 21.3333 | 64 | 0.3503 | - | - | - |
| 21.6667 | 65 | 0.3725 | - | - | - |
| 22.0 | 66 | 0.1759 | 0.6935 | 0.7276 | 0.8497 |
| 22.3333 | 67 | 0.3096 | - | - | - |
| 22.6667 | 68 | 0.3280 | - | - | - |
| 23.0 | 69 | 0.1664 | 0.6976 | 0.7228 | 0.8497 |
| 23.3333 | 70 | 0.3073 | - | - | - |
| 23.6667 | 71 | 0.4156 | - | - | - |
| 24.0 | 72 | 0.1755 | 0.6932 | 0.7220 | 0.8497 |
| 24.3333 | 73 | 0.2362 | - | - | - |
| 24.6667 | 74 | 0.2721 | - | - | - |
| 25.0 | 75 | 0.2648 | 0.6935 | 0.7220 | 0.8552 |
Training Time
- Training: 16.1 minutes
- Evaluation: 2.4 minutes
- Total: 18.5 minutes
Framework Versions
- Python: 3.12.11
- Sentence Transformers: 5.5.1
- Transformers: 5.10.2
- PyTorch: 2.12.0+cu130
- Accelerate: 1.13.0
- Datasets: 5.0.0
- Tokenizers: 0.22.2
Citation
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MultipleNegativesRankingLoss
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}