SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("UFGCEMIGONA/Qwen3-Embedding-0.6B-v2")
# Run inference
queries = [
    'Qual a potência instalada e a garantia física de energia da usina AW Santa Régia?',
]
documents = [
    'SECRETARIA DE PLANEJAMENTO E DESENVOLVIMENTO ENERGÉTICO\n\nPORTARIA Nº 1.621/SPE/MME, DE 1º DE SETEMBRO DE 2022\n\nO SECRETÁRIO DE PLANEJAMENTO E DESENVOLVIMENTO ENERGÉTICO DO MINISTÉRIO DE MINAS E ENERGIA, no uso da competência que lhe foi delegada pelo art. 1º, inciso II, da Portaria MME nº 281, de 29 de junho de 2016, tendo em vista o disposto nos arts. 2º, § 2º e 4º, § 1º, do Decreto nº 5.163, de 30 de julho de 2004, na Portaria MME nº 101, de 22 de março de 2016, e o que consta no Processo nº 48340.001184/2022-14 resolve:\n\nArt.  1º  Definir  os  montantes  de  garantia  física  de  energia  das  Usinas  Eólicas  na  forma  do Anexo à presente Portaria.\n\n§ 1º Os montantes de garantia física de energia de que trata o caput referemse aos Ponto de Medição Individual - PMI das usinas.\n\n§  2º  Para  efeitos  de  comercialização  de  energia  elétrica,  as  perdas  elétricas  do  PMI  até  o Centro de Gravidade do referido submercado deverão ser abatidas dos montantes de garantia física de energia definidos nesta Portaria, observando as Regras de Comercialização de Energia Elétrica vigentes.\n\nArt. 2º Para todos os efeitos, os montantes de garantia física de energia definidos no Anexo desta Portaria poderão ser revisados com base na legislação vigente.\n\nArt. 3º Esta Portaria entra em vigor na data de sua publicação.\n\nJOSÉ GUILHERME DE LARA RESENDE\n\nEste texto não substitui o publicado no D.O. de 05.09.2022, seção 1, p. 73, v. 160, n. 169.\n\nGARANTIA FÍSICA DE ENERGIA\n\nANEXO\n\n\n### Tabela (VLLM):\nAqui está a tabela transcrita para Markdown:\n\n| Código Único de Empreendimentos de Geração (CEG) - ANEEL | Empreendimento | Potência Instalada (MW) | Garantia Física (MWmédio) |\n| :--- | :--- | :---: | :---: |\n| EOL.CV.RN.032080-3.01 | AW São João | 25,200 | 14,1 |\n| EOL.CV.RN.032194-0.01 | AW Santa Régia | 37,800 | 21,7 |',
    'NOTA TÉCNICA Nº 335/2020-SCG/ANEEL\n\nI -DO OBJETIVO\n\nAnalisar a adequabilidade do Sumário Executivo referente à Pequena Central Hidrelétrica (PCH)  Membeca  VIII,  com  5.900  kW  de  potência  instalada,  cadastrada  sob  o  Código  Único  de Empreendimentos de Geração (CEG) PCH.PH.MT.035062-1.01, com Registro de Intenção à Outorga de Autorização (DRI -PCH)  conferido  à  Global  Energia  Elétrica  S.A.  (Global  Energia  ou  Interessada),  por meio do Despacho nº 3.885, de 20 de novembro de 2017, localizada no rio Membeca, sub-bacia 17, na bacia hidrográfica do Rio Amazonas, cuja casa de força localiza-se no município de Brasnorte, estado de Mato Grosso.\n\nII -DOS FATOS\n\nO  Despacho  n°  3.504,  de  19  de  outubro  de  2015,  aprova  os  Estudos  de  Inventário Hidrelétrico do rio Membeca, no qual foram identificados 7 aproveitamentos hidrelétricos, dentre os quais a PCH Membeca VIII.\n\nO Despacho nº 3.885 1 , de 20 de novembro de 2017, confere o DRI-PCH à Global Energia, com o objetivo de desenvolver os estudos de projeto básico da PCH Membeca VIII.\n\nEm  21  de  janeiro  de  2019,  a  Interessada  protocolou  o  Sumário  Executivo  e  o  Projeto Básico referente ao empreendimento 2 .\n\n1 Documento nº 48524.012902/2017-00.\n\n2 Documento nº 48513.000341/2019-00.\n\n\nEm 13 de maio de 2020.\n\nProcesso: 48500.005913/2017-64.\n\nAssunto:  Sumário  Executivo  referente  à  Pequena Central Hidrelétrica Membeca VIII, com 5.900 kW de Potência Instalada, com Registro de Intenção à Outorga  de  Autorização  (DRI -PCH)  conferido  à Global Energia Elétrica S.A..\n\n\n2 da NOTA TÉCNICA Nº 335/2020-SCG/ANEEL, de 13/5/2020.\n\nIII -DA ANÁLISE\n\nAs  informações  prestadas  à  ANEEL  são  de  total  e  exclusiva  responsabilidade  do Interessado, conforme expresso no §6º do art. 25 da Resolução Normativa n° 875, de 10 de março de 2020:',
    '### Tabela (VLLM):\nAqui está a tabela transcrita para Markdown:\n\n| MARCOS | PRAZO |\n| :--- | :--- |\n| 12.0 Operação Comercial | Até 24 meses |\n\n\n(*) A partir da publicação desta Resolução no D.O.U.\n\nANEXO III\n\nIII.1 Características e requisitos técnicos para as instalações de transmissão de energia elétrica referentes ao empreendimento T2013-041 - Subestação Barro Alto - Instalação de 3º banco de autotransformadores 230/69 kV, 3 x 16,66 MVA, e conexões.\n\nIII.1.1 Módulos de conexão\n\nIII.1.1.1 Corrente nominal\n\nA  capacidade  de  corrente  nominal  das  ampliações  dos  barramentos  e  dos  equipamentos  a  serem implantados na subestação, tais como, disjuntores, chaves seccionadoras e transformadores de correntes, deve ser dimensionada considerado que indisponibilidades de equipamentos, pertencentes ou não a este empreendimento, podem submeter os remanescentes a valores de correntes mais elevados.\n\nA corrente nominal dos disjuntores 230 kV deve ser maior ou igual a 3150 A.\n\nIII.1.1.2 Corrente de curto - circuito\n\nOs  equipamentos  e  demais  instalações  devem  suportar,  no  mínimo,  as  correntes  de  curto-circuito simétrica e assimétrica relacionadas na tabela a seguir (fator de assimetria 2,6).\n\n\n### Tabela (VLLM):\nAqui está a tabela transcrita para Markdown:\n\n| Tensão Nominal (kV) | Corrente de curto-circuito nominal (kA) | Valor de crista da corrente suportável nominal (kA) |\n| :---: | :---: | :---: |\n| 230 | 40 | 104 |\n| 69 | 31,5 | 81,9 |\n\n\nCaso os estudos de curto-circuito para o horizonte de planejamento indiquem valores superiores a estes, tais valores devem ser adotados.\n\nIII.1.1.2 Equipamentos da subestação\n\nTodos  os  novos  equipamentos  devem  ser  especificados  de  forma  a  não  comprometer  ou  limitar  a operação das subestações, nem impor restrições operativas às demais instalações do sistema interligado nacional e deverão ter características iguais ou superiores às dos equipamentos existentes na subestação.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6797,  0.0811, -0.0212]], dtype=torch.bfloat16)

Evaluation

Metrics

Reranking

• Dataset: qwen-reranking-eval
• Evaluated with RerankingEvaluator with these parameters:

  {
      "at_k": 10
  }
  

Training Details

Training Dataset

Unnamed Dataset

• Size: 77,745 training samples
• Columns: sentence1 and sentence2
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2
  type	string	string
  modality	text	text
  details	min: 19 tokensmean: 39.19 tokensmax: 74 tokens	min: 30 tokensmean: 647.54 tokensmax: 1125 tokens

• Samples:

  sentence1	sentence2
  A emissão do DRS-PCH da PCH Quartel III já garante a homologação dos parâmetros para o cálculo da Garantia Física do empreendimento?	AGÊNCIA NACIONAL DE ENERGIA ELÉTRICA - ANEELDESPACHO Nº XXXX, DE XX DE JANEIRO DE 2019.O SUPERINTENDENTE DE CONCESSÕES E AUTORIZAÇÕES DE GERAÇÃO DA AGÊNCIA NACIONAL DE ENERGIA ELÉTRICA - ANEEL, conforme as atribuições da Portaria nº 4.742, de 26 de setembro de 2017, a Resolução Normativa nº 673 de 4 de agosto de 2015 e o que consta do Processo n° 48500.004340/2017-51, resolve: (i) registrar a adequabilidade aos estudos de inventário e ao uso do potencial hidráulico do Sumário Executivo (DRS-PCH) da PCH Quartel III, com 27.019 kW de Potência Instalada, cadastrada sob o Código Único de Empreendimentos de Geração (CEG) PCH.PH.MG.030618-5.01, de titularidade das empresas Construtora Quebec S.A. e Tractebel Engineering Ltda., inscritas, respectivamente, no CNPJ sob os n os 38.696.365/0001-75 e 33.633.561/0001-87, localizada no rio Paraúna, integrante da sub-bacia 41, na bacia hidrográfica do rio São Francisco, nos municípios de Gouveia e Santana do Pirapama, estado de Minas Gera...
  Estou planejando a manutenção das turbinas na PCH Salto Santo Antônio. A Casa de Força Secundária possui turbinas com a mesma potência da Casa de Força Principal?	### Tabela (VLLM):Aqui está a tabela transcrita para Markdown:| PCH Salto Santo Antônio | Sumário Executivo: CF Principal | Sumário Executivo: CF Secundária || :--- | :---: | :---: || Coordenadas do eixo do barramento | 26°41'58" S51°49'28" W | 26°41'58" S51°49'28" W || Coordenadas da casa de força | 26°42'4,6" S51°49'35,4" W | 26°42'4,91" S51°49'33,87" W || NA Montante (m) | 1.071,90 | 1.071,90 || NA Jusante (m) | 1.040,55 | 1.040,55 || Potência Instalada Total (kW) | 9.000 | 1.636 || Número de Unidades Geradoras | 2 | 2 || Potência instalada por gerador (kVA) | 5.000,00; 5.000,00 | 1.245,00; 800,00 || Fator de potência por gerador (p.u.) (0,00 a 1,00) | 0,90; 0,90 | 0,80; 0,80 || Potência instalada por turbina (kW) | 4.663,21; 4.663,21 | 1.082,61; 695,65 || Engolimento unitário mínimo por turbina (m³/s) | 8,64; 8,64 | 3,08; 1,23 || Rendimento nominal por turbina (%) | 90,0%; 90,0% | 80,0%; 80,0% || Rendimento nominal por gerador (%) | 96,5%; 96,5% | 92...
  Me passa logo o CEG da UFV Rosário X que eu preciso informar aqui no sistema!	### Tabela (VLLM):Aqui está a tabela transcrita para Markdown:| Empreendimento | Rosário VIII | CEG | UFV.RS.RN.060140-3.01 || :--- | :--- | :--- | :--- || Coordenadas | | -5,35480916 | -35,63757196 || Município | Pureza | Estado | Rio Grande Do Norte || Unidade Geradora | 12 | Potência (kW) | 2.500 || Potência Instalada (kW) | | | 30.000 || Potência Líquida (kW) | | | Não se aplica || Sistema de Transmissão de Interesse Restrito | | | Não se aplica |### Tabela (VLLM):Aqui está a tabela transcrita para Markdown:| Empreendimento | Rosário IX | CEG | UFV.RS.RN.060141-1.01 || :--- | :--- | :--- | :--- || Coordenadas | | -5,35499336 | -35,64208096 || Município | Pureza | Estado | Rio Grande Do Norte || Unidade Geradora | 12 | Potência (kW) | 2.500 || Potência Instalada (kW) | | | 30.000 || Potência Líquida (kW) | | | Não se aplica || Sistema de Transmissão de Interesse Restrito | | | Não se aplica |...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 1024
• num_train_epochs: 1
• max_steps: 150
• learning_rate: 2e-05
• warmup_steps: 0.1
• bf16: True
• per_device_eval_batch_size: 16
• eval_on_start: True

All Hyperparameters

• per_device_train_batch_size: 1024
• num_train_epochs: 1
• max_steps: 150
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 16
• prediction_loss_only: True
• eval_on_start: True
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Training Time

• Training: 7.9 hours
• Evaluation: 1.3 hours
• Total: 9.2 hours

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.6.0
• Transformers: 5.12.1
• PyTorch: 2.7.0a0+ecf3bae40a.nv25.02
• Accelerate: 1.14.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}