/ Модель

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Архитектура
qwen3 · dense
Базовая модель
Qwen3-Embedding-4B
Библиотека
sentence-transformers
Опубликована
6 июл 2026

Qwen3-Embedding-4B-384

ЭмбеддингиТекст → embedding9 профессий

Дообученная текстовая модель Qwen3 создаёт нормализованные эмбеддинги для семантического поиска и сравнения предложений и абзацев.

96скачиваний за 30 дней0лайковвеса обновлены6 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zecafonso/Qwen3-Embedding-4B-384 — текстовая модель Sentence Transformer, дообученная на базе Qwen/Qwen3-Embedding-4B. Она преобразует предложения и абзацы в плотные векторы размерностью 2560 для семантического поиска, извлечения релевантных документов и сравнения текстов. В архитектуре Qwen3 используются извлечение скрытых состояний, pooling по последнему токену и нормализация; сходство можно оценивать косинусной мерой.

Модель принимает текст, максимальная длина последовательности в README указана как 384 токена, тогда как метаданные указывают базовый контекст 40960 токенов; для этой дообученной версии следует ориентироваться на ограничение README. Языковая поддержка явно не перечислена, но базовая модель описана в каталоге как мультиязычная. README приводит результаты оценки на двух наборах для информационного поиска, однако это ограниченные выборки и они не гарантируют качество на других данных. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

Сценарии применения

  • поиск релевантных фрагментов по текстовому запросу
  • ранжирование документов по смысловой близости к запросу
  • сравнение семантического сходства предложений
  • подготовка эмбеддингов для базы знаний и RAG
  • поиск похожих абзацев в коллекции текстов

Ограничения

README указывает максимальную длину последовательности 384 токена, а результаты оценки приведены только для небольших наборов данных и могут не отражать качество на других задачах. Языки модели и условия лицензии в предоставленных данных явно не указаны.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SentenceTransformer based on Qwen/Qwen3-Embedding-4B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-4B. It maps sentences & paragraphs to a 2560-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-4B
  • Maximum Sequence Length: 384 tokens
  • Output Dimensionality: 2560 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 2560, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Quais os parâmetros de dimensionamento para equipamentos de utilização coletiva?',
]
documents = [
    'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
    'Artigo 44.º – Áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas e equipamentos\n1 - Sem prejuízo do disposto no artigo 44.º do RJUE, devem ser previstas áreas públicas e ou privadas destinadas à implantação de espaços verdes e de utilização coletiva, infraestruturas e equipamentos, nas seguintes situações:\na) Operações de loteamento e respetivas alterações;\nb) Operações urbanísticas com impacte relevante, nos termos do n.º 5 do artigo 44.º do RJUE, conjugado com o disposto no artigo 6.º e no n.º 3 do artigo 53.º do presente Regulamento;\nc) Obras consideradas de impacte semelhante a operação de loteamento, nos termos do n.º 5, do artigo 57.º do RJUE, conjugado com o disposto no artigo 7.º do presente Regulamento.\n2 - Os parâmetros para o dimensionamento das áreas referidas no número anterior são os que estiverem definidos em plano municipal de ordenamento do território ou, supletivamente, naPortaria n.º 216-B/2008, de 3 de março, ou outra que, sobre esta matéria, venha a ser posteriormente aprovada.',
    'Artigo 100.º – Circulação interior\n1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;\n2 - A largura mínima das faixas de circulação é de:\na) 4,50 metros em estacionamento a 45.º;\nb) 5 metros em estacionamento a 60.º;\nc) 5,50 metros em estacionamento a 90.º;\nd) 4 metros em estacionamento longitudinal;\ne) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;\nf ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;\ng) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.\n(ver documento original)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2560] [3, 2560]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4313, 0.4313, 0.1482]])

Evaluation

Metrics

Information Retrieval

  • Datasets: urban-ir-gold-validation-rmue_faro and urban-ir-gold-span-validation-rmue_faro
  • Evaluated with InformationRetrievalEvaluator with these parameters:
    {
        "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:"
    }
    
Metricurban-ir-gold-validation-rmue_farourban-ir-gold-span-validation-rmue_faro
cosine_accuracy@10.81820.7917
cosine_accuracy@30.90910.9167
cosine_accuracy@50.90910.9167
cosine_accuracy@100.90910.9167
cosine_precision@10.81820.7917
cosine_precision@30.39390.3056
cosine_precision@50.25450.1833
cosine_precision@100.15450.0917
cosine_recall@10.53030.7917
cosine_recall@30.67420.9167
cosine_recall@50.71970.9167
cosine_recall@100.83330.9167
cosine_ndcg@100.76950.8651
cosine_mrr@100.84850.8472
cosine_map@1000.70190.8507

Training Details

Training Dataset

Unnamed Dataset

  • Size: 82 training samples
  • Columns: anchor, positive, negative_1, and negative_2
  • Approximate statistics based on the first 82 samples:
    anchorpositivenegative_1negative_2
    typestringstringstringstring
    modalitytexttexttexttext
    detailsmin: 8 tokensmean: 72.98 tokensmax: 384 tokensmin: 300 tokensmean: 353.66 tokensmax: 370 tokensmin: 311 tokensmean: 353.2 tokensmax: 377 tokensmin: 196 tokensmean: 348.57 tokensmax: 374 tokens
  • Samples:
    anchorpositivenegative_1negative_2
    Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos:a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda...Artigo 18.º Espaços Equipados e Áreas Técnicas 1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa. 2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca Seca. 3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente identificados na Planta de Intervenção: a) Bilheteira e zona de espera; b) Largo da Igreja; c) Praia do Porto de Pesca; d) Praça Multiusos e campo de futebol informal em areia com vedação; e) Área Técnica - Plataforma de Trabalho; f) Área Técnica - Doca Seca; g) Área Técnica - RSU e Valorizáveis. 4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec...34 Edifício na Rua Frei Lourenço de Santa Maria (arqt MGC) Rua Frei Lourenço de Santa Maria 35 Ermida de Nossa Senhora da Esperança Alto da Esperança 36 Posto Fixo de Fiscalização da Polícia de Viação e Trânsito, PVT, no Largo de Camões / Posto de Informação para Jovens Largo de Camões 37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11 38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75 39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42 40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59 41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire; Rua Conselheiro Sebastião Teles 42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14 43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de Loulé 44 Edifício na Rua Gonçalo Barreto, 14 / Residencial Condado Rua Gonçalo Barreto, 14; Rua Brito Cabreira Revisão do Plano Diretor Municipal
    Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso?a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda...Artigo 18.º Espaços Equipados e Áreas Técnicas 1. Os Espaços Equipados e Áreas Técnicas integram os espaços de uso público intervencionados correspondentes a praças, largos e áreas técnicas integrados na Área de Edificação Dispersa. 2. Nos espaços Equipados e Áreas Técnicas é interdito o parque ou estacionamento de viaturas (tratores) e depósito de bens ou materiais de qualquer natureza. É também interdito o parque ou estacionamento de embarcações fora da área equipada especificamente para esse efeito – Doca Seca. 3. Os Espaços Equipados e Áreas Técnicas são enumerados seguidamente, estando devidamente identificados na Planta de Intervenção: a) Bilheteira e zona de espera; b) Largo da Igreja; c) Praia do Porto de Pesca; d) Praça Multiusos e campo de futebol informal em areia com vedação; e) Área Técnica - Plataforma de Trabalho; f) Área Técnica - Doca Seca; g) Área Técnica - RSU e Valorizáveis. 4. A implementação dos Espaços Equipados deverá ser objeto de projetos espec...34 Edifício na Rua Frei Lourenço de Santa Maria (arqt MGC) Rua Frei Lourenço de Santa Maria 35 Ermida de Nossa Senhora da Esperança Alto da Esperança 36 Posto Fixo de Fiscalização da Polícia de Viação e Trânsito, PVT, no Largo de Camões / Posto de Informação para Jovens Largo de Camões 37 Edifício na Rua de Loulé, 11 Rua de Loulé, 11 38 Edifício na Rua do Alportel, 75 Rua do Alportel, 75 39 Moradia e Ateliê na Rua Reitor Teixeira Guedes, 42 Rua Reitor Teixeira Guedes, 42 40 Casa do Poeta Dr. Cândido Guerreiro Rua General Humberto Delgado 59 41 Casa de Mateus de Silveira Largo de Camões; Rua Gomes Freire; Rua Conselheiro Sebastião Teles 42 Edifício na Rua de Loulé, 14 Rua de Loulé, 14 43 Edifício no Largo de São Sebastião, 3 Largo de São Sebastião, 3; Rua de Loulé 44 Edifício na Rua Gonçalo Barreto, 14 / Residencial Condado Rua Gonçalo Barreto, 14; Rua Brito Cabreira Revisão do Plano Diretor Municipal
    4 — Em loteamentos, ou operações urbanísticas com impacte semelhante a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-namento público na proporção de 50 % dos lugares privativos exigíveis para as frações habitacionais, em número igual ou superior aos lugares privativos das frações não habitacionais e em dobro dos lugares exigíveis para as frações destinadas a estabelecimentos de restauração e bebidasigual ou superior a 120 m², no caso de ser conhecida a dimensão dos fogos;b) 1,5 lugares de estacionamento por cada 120 m² de área bruta de cons-trução afeta à habitação, no caso de ser desconhecida a dimensão dos fogos.3 — Em edifícios ou áreas destinadas a comércio e ou serviços, deve, sem prejuízo do disposto em legislação especifica, ser criado um parqueamento no interior do prédio ou parcela, equivalente a:a) Um lugar de estacionamento por cada 50 m² de área bruta;b) Um lugar de estacionamento por cada dois quartos de estabeleci-mentos hoteleiros;4 — Em loteamentos, ou operações urbanísticas com impacte semelhante a loteamento, deverão ser previstos, cumulativamente, lugares de estacio-namento público na proporção de 50 % dos lugares privativos exigíveis para as frações habitacionais, em número igual ou superior aos lugares privativos das frações não habitacionais e em dobro dos lugares exigíveis para as frações destinadas a estabelecimentos de restauração e bebidas....e infraestruturais como no respeitante a impactes visuais e paisagísti-cos;c) Seja dado cumprimento às disposições respeitantes a servidões administrativas ou restrições de utilidade pública, eventualmente exis-tentes para o local.ANEXORepublicação do Regulamento do Plano Diretor Municipal de Vila Real, publicado no Diário da República, Aviso n.º 7317/2011, 2.ª série, n.º 57 de 22 de março de 2011CAPÍTULO IDisposições geraisArtigo 1.ºÂmbito territorialO presente Plano estabelece as regras a que deve obedecer a ocupação, o uso e a transformação do solo no âmbito do Plano Diretor Municipal de Vila Real, adiante designado por PDM ou Plano, que abrange a totalidade do território do concelho de Vila Real. SUBSECÇÃO IICritérios de perequação compensatóriaArtigo 83.º[...]1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e Unidades de Execução definidas no artigo 85.º, um direito abstrato de construir dado pelo produto do índice médio de utilização pela área d...se refere a alínea b) do artigo anterior, o índice médio de utilização e a cedência média são os resultantes da ocupação estabelecida em acordo com a Planta de Ordenamento — Qualificação do Solo e o presente Regulamento.4 — Nas situações em que ocorrem diferentes usos ou tipologias, pode a edificabilidade ser afetada de coeficiente de homogeneização, função da relação entre o valor do custo de construção e o valor de venda verificados na área geográfica em apreço.Artigo 83.ºAplicação1 — É fixado, para cada um dos prédios abrangidos pelas UOPG e Unidades de Execução definidas no artigo 85.º, um direito abstrato de áreas destinadas a espaços verdes e de utilização coletiva, infraestruturas viárias e equipamentos, dimensionadas do seguinte modo:a) Para a cidade de Vila Real de acordo com os parâmetros seguintes:i) Para espaços verdes e de utilização coletiva e equipamentos: 9354 Diário da República, 2.ª série — N.º 63 — 29 de março de 2018 construir dado pelo produto do í...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false,
        "directions": [
            "query_to_doc"
        ],
        "partition_mode": "joint",
        "hardness_mode": null,
        "hardness_strength": 0.0
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 45 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 45 samples:
    anchorpositive
    typestringstring
    modalitytexttext
    detailsmin: 6 tokensmean: 104.11 tokensmax: 384 tokensmin: 42 tokensmean: 329.04 tokensmax: 377 tokens
  • Samples:
    anchorpositive
    Qual a inclinação máxima das rampas em solo urbano e espaço central?Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
    Qual a largura de circulação nos estacionamentos cobertos?Artigo 100.º – Circulação interior1 - A circulação no interior dos pisos de estacionamento deve ser garantida sem recurso a manobras, nos percursos de ligação entre os pisos;2 - A largura mínima das faixas de circulação é de:a) 4,50 metros em estacionamento a 45.º;b) 5 metros em estacionamento a 60.º;c) 5,50 metros em estacionamento a 90.º;d) 4 metros em estacionamento longitudinal;e) Devem ser previstas zonas livres, nos locais próximos à entrada/saída das rampas, de modo a permitir a passagem cruzada ou a espera de veículos;f ) Os pilares ou outros obstáculos devem ser devidamente sinalizados e protegidos;g) O pavimento das rampas e dos pisos deve ser antiderrapante e deve ser previsto um sistema de caleiras que permita a limpeza de óleos.(ver documento original)
    Qual a largura de circulação nos estacionamentos cobertos?Artigo 98.º – Rampas1 - As rampas de acesso ao estacionamento no interior dos prédios não podem, em caso algum, ter qualquer desenvolvimento na via ou espaço público, incluindo passeios, devendo ser realizadas de modo a permitir uma boa visibilidade por parte dos condutores que saem do estacionamento.2 - As rampas devem permitir a fácil inscrição geométrica, sem recurso a manobra.3 - A largura mínima das rampas é de 3 metros, podendo a largura máxima atingir 9,50 metros em função da capacidade global do parqueamento e da utilização do edifício, a fundamentar em projeto e sujeito a apreciação caso a caso.4 - A inclinação máxima das rampas não pode ser superior a 18 % e deve ser demonstrada a utilização em condições de segurança dos veículos, recorrendo a diferentes percentagens de inclinação sempre que necessário.5 - Sempre que a inclinação ultrapasse os 12 %, deve ser prevista curva de transição com a zona de concordância nos pisos, com uma extensão mínima de 3 metros, em situaçõe...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false,
        "directions": [
            "query_to_doc"
        ],
        "partition_mode": "joint",
        "hardness_mode": null,
        "hardness_strength": 0.0
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • learning_rate: 1e-05
  • warmup_steps: 0.2
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 2
  • bf16: True
  • gradient_checkpointing: True
  • per_device_eval_batch_size: 16
  • remove_unused_columns: False
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates

All Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 25.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.2
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 16
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: False
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

EpochStepTraining LossValidation Lossurban-ir-gold-validation-rmue_faro_cosine_ndcg@10urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10
0.333311.5928---
0.666721.4850---
1.030.74830.87770.69950.8343
1.333341.6372---
1.666751.3527---
2.061.16080.87000.70420.8343
2.333371.5172---
2.666781.2501---
3.091.20830.85310.70240.8343
3.3333101.1284---
3.6667111.2114---
4.0120.78660.83500.70700.8398
4.3333130.9812---
4.6667140.9855---
5.0150.89610.80960.69350.8552
5.3333160.7055---
5.6667170.7341---
6.0180.37640.80190.69760.8705
6.3333190.4954---
6.6667200.5680---
7.0210.38460.80680.70120.8651
7.3333220.4438---
7.6667230.5534---
8.0240.12440.79930.74320.8651
8.3333250.4373---
8.6667260.3694---
9.0270.22680.78920.74010.8651
9.3333280.3661---
9.6667290.4009---
10.0300.32940.77600.77290.8651
10.3333310.3194---
10.6667320.4141---
11.0330.20340.77610.77290.8651
11.3333340.4239---
11.6667350.3691---
12.0360.09790.78330.76820.8651
12.3333370.3230---
12.6667380.4131---
13.0390.12460.78710.74060.8651
13.3333400.3570---
13.6667410.3472---
14.0420.44640.78650.73590.8651
14.3333430.2088---
14.6667440.4334---
15.0450.13870.78760.73590.8651
15.3333460.2989---
15.6667470.3873---
16.0480.03850.79130.73760.8651
16.3333490.2334---
16.6667500.4588---
17.0510.29510.78650.74060.8651
17.3333520.2532---
17.6667530.3176---
18.0540.48870.78890.77410.8651
18.3333550.2629---
18.6667560.3022---
19.0570.24170.78890.73590.8651
19.3333580.3220---
19.6667590.3007---
20.0600.18180.78930.73590.8651
20.3333610.3383---
20.6667620.3835---
21.0630.28290.79110.74060.8651
21.3333640.4125---
21.6667650.3724---
22.0660.12910.78950.77410.8651
22.3333670.2527---
22.6667680.3994---
23.0690.08650.79040.73590.8651
23.3333700.3768---
23.6667710.2997---
24.0720.13210.79030.73590.8651
24.3333730.2395---
24.6667740.3920---
25.0750.15020.78840.76950.8651

Training Time

  • Training: 13.7 minutes
  • Evaluation: 2.2 minutes
  • Total: 15.8 minutes

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.5.1
  • Transformers: 5.10.2
  • PyTorch: 2.12.0+cu130
  • Accelerate: 1.13.0
  • Datasets: 5.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3Model
Ревизия весов
9cbf126

0 моделей