/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
508 млн
Архитектура
qwen3 · dense
Базовая модель
Qwen3-Embedding-0.6B
Библиотека
sentence-transformers
Опубликована
29 июл 2026

Qwen3-Embedding-0.6B-384

ЭмбеддингиТекст → embedding9 профессий

Дообученная на базе Qwen3 модель создаёт текстовые эмбеддинги для семантического поиска и сравнения предложений и абзацев.

74скачиваний за 30 дней0лайковвеса обновлены29 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

zecafonso/Qwen3-Embedding-0.6B-384 — текстовая модель Sentence Transformer, дообученная автором репозитория на Qwen/Qwen3-Embedding-0.6B. Она кодирует предложения и абзацы в плотные векторы размерности 1024, нормализует их и позволяет оценивать близость по косинусному сходству. Модель рассчитана на поиск релевантных фрагментов по запросу и семантическое сравнение текстов; в README приведена оценка на двух наборах данных для поиска, а также сведения о небольшом обучающем наборе из 66 примеров.

Архитектура использует Qwen3Model с pooling по последнему токену. Максимальная длина последовательности в карточке — 384 токена; общая длина контекста базовой модели указана в метаданных как 32 768 токенов, но для данного чекпойнта README указывает более короткое ограничение. Модель принимает текст и выдаёт векторные представления. Репозиторий использует формат safetensors и библиотеку Sentence Transformers. Лицензия в предоставленных данных не указана.

Сценарии применения

  • поиск релевантных фрагментов по текстовому запросу
  • семантическое сравнение предложений и абзацев
  • ранжирование текстовых документов по близости к запросу
  • поиск похожих текстов в коллекции
  • построение эмбеддингов для retrieval-систем

Ограничения

Для этого чекпойнта указано ограничение 384 токена на последовательность; качество за пределами приведённых небольших оценочных наборов не подтверждено предоставленными данными. Лицензия не указана в доступной карточке.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Qwen/Qwen3-Embedding-0.6B
  • Maximum Sequence Length: 384 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'b)  130 m2, quando em estrutura edificada, em cave ou não.',
]
documents = [
    'SECÇÃO II – Disposições específicas\n\nArtigo 92.º – Parâmetros\n1 - O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros:\na) Uma área de estacionamento mínima de 11,50 m2 (2,30 metros x 5 metros) por cada lugar de estacionamento ao ar livre;\nb) Uma área bruta mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 metros em "boxe", e de 2,30 metros em lugares de estacionamento, sendo que cada área de estacionamento terá que garantir uma profundidade disponível de 5 metros;\nc) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 metros e 3,50 metros, respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível;\n2 - A área bruta a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros:\na) 75 m2 (5 metros x 15 metros), à superfície;\nb) 130 m2, quando em estrutura edificada, em cave ou não.',
    'SECÇÃO II – Disposições específicas\n\nArtigo 92.º – Parâmetros\n1 - O cálculo da área de estacionamento necessária para veículos ligeiros deve obedecer aos seguintes parâmetros:\na) Uma área de estacionamento mínima de 11,50 m2 (2,30 metros x 5 metros) por cada lugar de estacionamento ao ar livre;\nb) Uma área bruta mínima de 30 m2 por cada lugar de estacionamento em estrutura edificada, em cave ou não, garantindo uma largura mínima disponível de 3,50 metros em "boxe", e de 2,30 metros em lugares de estacionamento, sendo que cada área de estacionamento terá que garantir uma profundidade disponível de 5 metros;\nc) As dimensões de garagens fechadas e de lugares de estacionamento que se destinem a cidadãos com mobilidade condicionada devem respeitar as larguras de 4 metros e 3,50 metros, respetivamente, sendo a sua localização a mais próxima dos acessos e obrigatoriamente anexados à habitação acessível;\n2 - A área bruta a considerar para cada lugar de estacionamento de um veículo pesado deve obedecer aos seguintes parâmetros:\na) 75 m2 (5 metros x 15 metros), à superfície;\nb) 130 m2, quando em estrutura edificada, em cave ou não.',
    'ii) Um lugar de estacionamento por cada 25 m2 de área total de construção comercial, para superfícies de comércio com uma área de construção superior a 1000 m2;\niii) Um lugar de estacionamento por cada 15 m2 de área total de construção comercial, para superfícies de comércio com uma área total superior a 2500 m2.\ne) Em edifícios ou frações destinados a serviços:\ni) Três lugares de estacionamento por cada 100 m2 de área total de construção de serviços;\nii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.\nf ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;\ng) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados, bem como ao estacionamento dos mesmos, em número a determinar, caso a caso em função do tipo de indústria ou armazém a instalar;\nh) Deve ainda ser prevista a seguinte proporção para lugares acessíveis a pessoas com mobilidade condicionada:\ni) Um lugar em espaços de estacionamento com uma lotação não superior a 10 lugares;',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4640, 0.4640, 0.3229]])

Evaluation

Metrics

Information Retrieval

  • Datasets: urban-ir-gold-validation-rmue_faro and urban-ir-gold-span-validation-rmue_faro
  • Evaluated with InformationRetrievalEvaluator with these parameters:
    {
        "query_prompt": "Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:"
    }
    
Metricurban-ir-gold-validation-rmue_farourban-ir-gold-span-validation-rmue_faro
cosine_accuracy@10.33330.8
cosine_accuracy@31.00.8
cosine_accuracy@51.00.8
cosine_accuracy@101.00.8
cosine_precision@10.33330.8
cosine_precision@30.44440.2667
cosine_precision@50.33330.16
cosine_precision@100.16670.08
cosine_recall@10.16670.8
cosine_recall@30.83330.8
cosine_recall@51.00.8
cosine_recall@101.00.8
cosine_ndcg@100.76060.8
cosine_mrr@100.66670.8
cosine_map@1000.66670.8

Training Details

Training Dataset

Unnamed Dataset

  • Size: 66 training samples
  • Columns: anchor, positive, negative_1, and negative_2
  • Approximate statistics based on the first 66 samples:
    anchorpositivenegative_1negative_2
    typestringstringstringstring
    modalitytexttexttexttext
    detailsmin: 8 tokensmean: 54.42 tokensmax: 384 tokensmin: 300 tokensmean: 354.36 tokensmax: 370 tokensmin: 312 tokensmean: 353.86 tokensmax: 366 tokensmin: 180 tokensmean: 347.98 tokensmax: 366 tokens
  • Samples:
    anchorpositivenegative_1negative_2
    Artigo 113º. Critérios de dimensionamento\n\n\n\n1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão.\n\n\n\n2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos:a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda...ii1) É privilegiada a conservação do edificado e da respetiva morfologia urbana; Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 78 ii2) São permitidas obras de construção, reconstrução, alteração e ampliação nos termos das disposições legais e regulamentares, desde que mantida a relação de continuidade com os edifícios confinantes, bem como, alinhamentos, de forma a não desvirtuar as características arquitetónicas e volumétricas do conjunto e nas seguintes condições específicas: (i) O número de pisos admitido é a moda da altura das fachadas existentes na frente urbana em que estas se inserem, até ao número máximo de 2 pisos acima da cota de soleira e uma altura de fachada máxima de 8,0 m, sem prejuízo do cumprimento do artigo 59.º do RGEU; (ii) Profundidade Máxima de Empena de 15 m; (iii) Área mínima de permeabilidade não inferior a 25 % da área do logradouro; (iv) Alteração de fachadas que se d...Territorial do Litoral Sul e Barrocal, sendo de 70 hectares no caso de se localizar numa área classificada; iii) Área a dotar de infraestruturas urbanísticas e a edificar, não deve ser superior a 30% da área total do NDT; iv) Densidade populacional correspondente a cada área a dotar de infraestruturas urbanísticas e a edificar não deve ser superior a 60 camas por hectare, podendo ser de 100 camas por hectare em parcelas ocupadas exclusivamente com hotéis, em áreas classificadas a densidade máxima será de 20 camas por hectare, podendo ser de 30 camas por hectare em parcelas ocupadas exclusivamente com hotéis; v) Composição urbana com nucleações que traduzem menores extensões de infraestruturas para a globalidade do NDT; vi) Proporção mínima de camas turísticas, tipologias e categorias mínimas dos empreendimentos turísticos que integram o NDT; vii) São admissíveis as seguintes tipologias turísticas: vii1) Na Faixa Costeira, entre os 500 e 2000 metros, contados para ter...
    Qual o n.º mínimo de lugares público de estacionamento consoante a área de construção e uso?a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda...ii1) É privilegiada a conservação do edificado e da respetiva morfologia urbana; Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda 78 ii2) São permitidas obras de construção, reconstrução, alteração e ampliação nos termos das disposições legais e regulamentares, desde que mantida a relação de continuidade com os edifícios confinantes, bem como, alinhamentos, de forma a não desvirtuar as características arquitetónicas e volumétricas do conjunto e nas seguintes condições específicas: (i) O número de pisos admitido é a moda da altura das fachadas existentes na frente urbana em que estas se inserem, até ao número máximo de 2 pisos acima da cota de soleira e uma altura de fachada máxima de 8,0 m, sem prejuízo do cumprimento do artigo 59.º do RGEU; (ii) Profundidade Máxima de Empena de 15 m; (iii) Área mínima de permeabilidade não inferior a 25 % da área do logradouro; (iv) Alteração de fachadas que se d...Territorial do Litoral Sul e Barrocal, sendo de 70 hectares no caso de se localizar numa área classificada; iii) Área a dotar de infraestruturas urbanísticas e a edificar, não deve ser superior a 30% da área total do NDT; iv) Densidade populacional correspondente a cada área a dotar de infraestruturas urbanísticas e a edificar não deve ser superior a 60 camas por hectare, podendo ser de 100 camas por hectare em parcelas ocupadas exclusivamente com hotéis, em áreas classificadas a densidade máxima será de 20 camas por hectare, podendo ser de 30 camas por hectare em parcelas ocupadas exclusivamente com hotéis; v) Composição urbana com nucleações que traduzem menores extensões de infraestruturas para a globalidade do NDT; vi) Proporção mínima de camas turísticas, tipologias e categorias mínimas dos empreendimentos turísticos que integram o NDT; vii) São admissíveis as seguintes tipologias turísticas: vii1) Na Faixa Costeira, entre os 500 e 2000 metros, contados para ter...
    Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos:\n\nTipo de Ocupação\n\nEstacionamento\n\nHabitação coletiva\n\nHabitação com indicação de tipologia: \n\n1 lugar/fogo T0 e T1; \n\n1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; \n\n3 lugares/fogo > T6.a) 75 m2 (5 m x 15 m), à superfície; b) 130 m2, quando em estrutura edificada, em cave ou não. Artigo 113º. Critérios de dimensionamento 1. Todas as novas edificações devem dispor de espaços destinados ao estacionamento de veículos, sendo o número de lugares estabelecido em função dos usos de edifício e da sua dimensão. 2. Os parâmetros de dimensionamento quer para operações de loteamento quer para operações afins de impacte urbanístico relevante e impacte semelhante a loteamento, deve garantir-se o cumprimento dos seguintes mínimos: Tipo de Ocupação Estacionamento Habitação coletiva Habitação com indicação de tipologia: 1 lugar/fogo T0 e T1; 1,5 lugares/fogo T2 e T3; 2 lugares/fogo T4, T5 e T6; 3 lugares/fogo > T6. O número total de lugares resultante da aplicação dos critérios anteriores é acrescido de 20 % para estacionamento público. Revisão do Plano Diretor Municipal Regulamento Município de Faro | lugar do plano, gestão do território e cultura, Lda...Município de Faro | lugar do plano, gestão do território e cultura, Lda 18 valorização ambiental e paisagística, se destinam à utilização pelos cidadãos em atividades de estadia, recreio e lazer ao ar livre, não abrangendo os logradouros. u) Estrutura Ecológica Municipal - é conjunto das áreas de solo que, em virtude das suas características biofísicas, culturais ou paisagísticas, da sua continuidade ecológica e do seu ordenamento, têm por função principal contribuir para o equilíbrio ecológico e para a proteção, conservação e valorização ambiental e paisagística dos espaços rústicos e urbanos. v) Fachada - é cada uma das faces aparentes do edifício, constituída por uma ou mais paredes exteriores diretamente relacionadas entre si. w) Inclinação da Cobertura - é o valor do ângulo formado pelos planos da cobertura do edifício com o plano horizontal. x) Índice de impermeabilização do solo - é função da ocupação ou revestimento, sendo calculado pelo quociente entre o somatóri...IP 27 Igreja da Ordem Terceira de São Francisco (MIP) Portaria 740-U/2012 DR II Série n 248 de 24/12/2012 IP 28 Fortaleza de Faro, incluindo todo o conjunto de elementos ainda existentes das muralhas (IIP) Decreto Lei 45/1993 DR I Série B n 280 de 30/11/1993 INTERESSE MUNICIPAL (IM) N.º DESIGNAÇÃO DIPLOMA LEGAL IM 01 Nora, tanque e portal anexos (IIM) Decreto Lei 45/1993 DR I Série B n 280 de 30/11/1993 IM 02 Casa de Fresco da Antiga Quinta do Cercado (IIM) Edital 410/2006 DR II Série n 226 de 23/11/2006 IM 03 Conjunto Urbano entre o Mercado Municipal e a Escola Secundária João Deus (CIM) Edital 648/2012 DR II Série n 136 de 16/07/2012 IM 04 Casa do Coronel Fonseca (IIM) Edital 1151/2008 DR II Série n 223 de 17/11/2008
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false,
        "directions": [
            "query_to_doc"
        ],
        "partition_mode": "joint",
        "hardness_mode": null,
        "hardness_strength": 0.0
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 10 evaluation samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 10 samples:
    anchorpositive
    typestringstring
    modalitytexttext
    detailsmin: 6 tokensmean: 92.0 tokensmax: 384 tokensmin: 255 tokensmean: 317.2 tokensmax: 366 tokens
  • Samples:
    anchorpositive
    O que se entende por operação urbanística com impacte relevante ou semelhante a loteamento?Artigo 6.º – Operações urbanísticas com impacte relevantePara efeitos do disposto no n.º 5 do artigo 44.º do RJUE, são operações urbanísticas com impacte relevante as obras de construção, as obras de ampliação ou as obras de reconstrução com preservação de fachadas de que resulte um acréscimo da superfície de pavimento, em área não abrangida por operação de loteamento, que apresentem qualquer das seguintes características:a) Área bruta de construção superior a 2000 m2, incluindo no caso das obras de ampliação e das obras de reconstrução com preservação de fachadas a área preexistente, destinada isolada ou cumulativamente, a habitação, comércio, serviços, indústria ou armazenagem;b) Área bruta de construção superior a 2000 m2, incluindo no caso das obras de ampliação e das obras de reconstrução com preservação de fachadas a área preexistente, destinada a equipamentos privados, designadamente, estabelecimentos de ensino, saúde ou apoio social, quando não prevejam, pelo menos, a totali...
    O que se entende por operação urbanística com impacte relevante ou semelhante a loteamento?Artigo 7.º – Operações urbanísticas com impacte semelhante a uma operação de loteamentoPara efeitos do disposto no n.º 5, do artigo 57.º do RJUE, e sem prejuízo do consagrado nos n.os 6 e 7 daquele artigo, são obras com impacte semelhante a uma operação de loteamento as obras de construção ou as obras de ampliação de que resulte um acréscimo da superfície de pavimento, em área não abrangida por operação de loteamento, que apresentem qualquer das seguintes características:a) Edifícios contíguos e funcionalmente ligados entre si que possuam qualquer das características previstas no artigo anterior;b) Edifícios funcionalmente ligados ao nível do subsolo por elementos estruturais ou de acesso, que se apresentam acima do nível do terreno como edificações autónomas, e disponham de 15 ou mais frações ou unidades independentes, com exceção das destinadas exclusivamente a estacionamento automóvel.
    Quantos lugares de estacionamento são exigidos para pessoas com mobilidade reduzida?ii) Um lugar de estacionamento por cada 25 m2 de área total de construção comercial, para superfícies de comércio com uma área de construção superior a 1000 m2;iii) Um lugar de estacionamento por cada 15 m2 de área total de construção comercial, para superfícies de comércio com uma área total superior a 2500 m2.e) Em edifícios ou frações destinados a serviços:i) Três lugares de estacionamento por cada 100 m2 de área total de construção de serviços;ii) Cinco lugares por cada 100 m2 de área total de construção, quando a área total de construção de serviços for superior a 500 m2.f ) Em empreendimentos turísticos, o dimensionamento dos lugares de estacionamento deve observar as disposições das portarias em vigor para o efeito, decorrente da legislação específica;g) Em armazém ou indústria, um lugar por cada 150 m2 de área total de construção, devendo ainda ser prevista no interior da parcela de terreno ou prédio, a área necessária às operações de carga e descarga de veículos pesados,...
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
        "scale": 20.0,
        "similarity_fct": "cos_sim",
        "gather_across_devices": false,
        "directions": [
            "query_to_doc"
        ],
        "partition_mode": "joint",
        "hardness_mode": null,
        "hardness_strength": 0.0
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 10.0
  • learning_rate: 1e-05
  • warmup_steps: 0.2
  • optim: adamw_torch
  • weight_decay: 0.01
  • gradient_accumulation_steps: 2
  • bf16: True
  • gradient_checkpointing: True
  • per_device_eval_batch_size: 16
  • remove_unused_columns: False
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates

All Hyperparameters

  • per_device_train_batch_size: 16
  • num_train_epochs: 10.0
  • max_steps: -1
  • learning_rate: 1e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.2
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: None
  • trackio_bucket_id: None
  • trackio_static_space_id: None
  • per_device_eval_batch_size: 16
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: False
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_static_graph: None
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: None
  • fsdp_config: None
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: None
  • local_rank: -1
  • prompts: {'anchor': 'Instruct: Given a web search query, retrieve relevant passages that answer the query\nQuery:'}
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

EpochStepTraining LossValidation Lossurban-ir-gold-validation-rmue_faro_cosine_ndcg@10urban-ir-gold-span-validation-rmue_faro_cosine_ndcg@10
0.411.9762---
0.821.5210---
1.030.67980.50100.74540.6774
1.441.9627---
1.851.2393---
2.060.77410.47120.75170.7262
2.471.5812---
2.881.0342---
3.091.13970.43270.76060.8
3.4101.1708---
3.8111.0263---
4.0120.58930.41840.76060.8
4.4131.0389---
4.8141.0204---
5.0150.74880.40920.76060.8
5.4160.8816---
5.8170.8689---
6.0180.65070.41560.76060.8
6.4190.7848---
6.8200.6188---
7.0210.32480.41210.76060.8
7.4220.8297---
7.8230.6776---
8.0240.11340.41480.76060.8
8.4250.8346---
8.8260.5221---
9.0270.55210.41100.76060.8
9.4280.7498---
9.8290.5839---
10.0300.45240.41540.76060.8

Training Time

  • Training: 49.6 seconds
  • Evaluation: 10.4 seconds
  • Total: 60.0 seconds

Framework Versions

  • Python: 3.12.11
  • Sentence Transformers: 5.6.0
  • Transformers: 5.10.2
  • PyTorch: 2.12.0+cu130
  • Accelerate: 1.13.0
  • Datasets: 5.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · sentence-transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3Model
Ревизия весов
c7497f3

0 моделей