SentenceTransformer based on Qwen/Qwen3-Embedding-0.6B

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("UFGCEMIGONA/Qwen3-Embedding-0.6B")
# Run inference
queries = [
    'Se a distribuidora identificar que a conexão de uma micro ou minigeração distribuída implica inversão do fluxo de potência no posto de transformação ou no disjuntor do alimentador, quais alternativas ela pode propor no orçamento de conexão?',
]
documents = [
    'ou SIGFI deve ser apurado por  meio  de  procedimentos  auditáveis  e  que  contemplem  desde  o  processo  de  coleta  de  dados  das',
    '| Subestação | Tensão | Reforço | Prazo de execução |\n| :--- | :--- | :--- | :--- |\n| Angelim | 230 kV | Substituição de 4 Seccionadoras do vão 04M8 – Messias C2 (34M8\\_1, 34M8\\_2, 34M8\\_4, 34M8\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 5 Seccionadoras do vão 04M9 – Messias C3 (34M9\\_1, 34M9\\_2, 34M9\\_3, 34M9\\_4, 34M9\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 2 Transformadores de Corrente do vão 04M8 – Messias C2 (04M8).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 2 Bobinas de Bloqueio do vão 04M9 – Messias C3 (04M9).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 5 Seccionadoras do vão 04N4 – Garanhuns II C2 (34N4\\_1, 34N4\\_2, 34N4\\_3, 34N4\\_4, 34N4\\_5).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 1 Bobina de Bloqueio do vão 04N4 – Garanhuns II C2 (04N4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Angelim | 230 kV | Substituição de 1 Disjuntor do vão 04N4 – Garanhuns II C2 (D1 34N4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Camacari II | 230 kV | Substituição de 1 Disjuntor do vão Governador Mangabaia C2 (14C6).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |\n| Milagres | 230 kV | Substituição de 1 Disjuntor do vão 04E4 – RE04E4 (D1 14E4).<br>Capacidade do novo equipamento: Corrente de curto circuito $\\ge$ 40 kA. | 19/12/2020 |',
    '> **Análise Visual (VLLM):** Aqui está uma descrição detalhada do gráfico para fins de acessibilidade e substituição em documentos:\n\n**Descrição da Imagem:**\n\nGráfico de colunas agrupadas que apresenta a comparação de valores financeiros (expressos em milhões) para sete diferentes entidades ou projetos: AMAZONAS, BOA VISTA ENERGIA, CEAL, CEPISA, CERON, ELETROACRE e CEA.\n\nO eixo vertical (Y) indica os valores em "Milhões", com uma escala que varia de 0 a 1.200. Cada entidade possui três colunas coloridas que representam categorias distintas, conforme a legenda:\n\n1.  **PMSO Regulatório (coluna azul):** Representa os valores base regulatórios.\n2.  **PMSO Anual Real a preços do IRT 2016 (coluna vermelha):** Representa os valores reais anuais.\n3.  **PMSO Anual Meta a preços do IRT 2016 (coluna verde):** Representa os valores de meta anuais.\n4.  **PMSO Flexibilizado 2016 (coluna roxa):** Representa os valores flexibilizados.\n\n**Dados detalhados por entidade (valores em milhões):**\n\n*   **AMAZONAS:** Apresenta os maiores valores do gráfico, com 349 (Regulatório), 953 (Real), 906 (Meta) e 627 (Flexibilizado).\n*   **BOA VISTA ENERGIA:** Valores de 38 (Regulatório), 197 (Real), 187 (Meta) e 112 (Flexibilizado).\n*   **CEAL:** Valores de 272 (Regulatório), 423 (Real), 402 (Meta) e 337 (Flexibilizado).\n*   **CEPISA:** Valores de 361 (Regulatório), 505 (Real), 479 (Meta) e 420 (Flexibilizado).\n*   **CERON:** Valores de 234 (Regulatório), 343 (Real), 326 (Meta) e 280 (Flexibilizado).\n*   **ELETROACRE:** Valores de 93 (Regulatório), 172 (Real), 164 (Meta) e 129 (Flexibilizado).\n*   **CEA:** Valores de 68 (Regulatório), 191 (Real), 182 (Meta) e 125 (Flexibilizado).\n\n**Análise Visual:** Em quase todas as entidades, observa-se que o "PMSO Anual Real" (vermelho) é o valor mais alto, seguido de perto pelo "PMSO Anual Meta" (verde), enquanto o "PMSO Regulatório" (azul) tende a ser o valor mais baixo.\n\n\nFigura 3 Custos operacionais reais e regulatórios',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.1540, 0.2377, 0.1713]])

Evaluation

Metrics

Reranking

• Dataset: qwen-reranking-eval
• Evaluated with RerankingEvaluator with these parameters:

  {
      "at_k": 10
  }
  

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,028,598 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 100 samples:

  	sentence1	sentence2	score
  type	string	string	float
  modality	text	text
  details	min: 30 tokensmean: 42.9 tokensmax: 68 tokens	min: 20 tokensmean: 578.56 tokensmax: 1219 tokens	min: 0.0mean: 0.24max: 1.0

• Samples:

  sentence1	sentence2	score
  Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?	Para o subgrupo A4 (2,3 a 25 kV) na Tarifa Horo-Sazonal Azul, a demanda no horário de ponta é de 3.336,91 CR$/kW e a demanda fora de ponta é de 1.111,82 CR$/kW.	1.0
  Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?	> Análise Visual (VLLM): A imagem apresenta um código de barras linear simples, composto por uma série de linhas verticais pretas de larguras variadas sobre um fundo branco. Abaixo do código de barras, está impresso o número correspondente em algarismos arábicos: "01067362".LEGISLACAO### Tabela (VLLM):Aqui está a transcrição da tabela para Markdown, mantendo a fidelidade aos dados e à estrutura apresentada:| TIPO ATO | INSTITUIÇÃO | Nº ATO | DATA DO ATO | DATA D.O | PÁG. D.O || :--- | :--- | :--- | :--- | :--- | :--- || PORTARIA | DNAEE | 1.428 | 29/11/1993 | 01/12/1993 | 18.283 || Descrição | Valor || :--- | :--- || A3a (30 kV a 44 kV) | 1.217,43 | 17.836,30 || A4 (2,3 kV a 25 kV) | 1.263,29 | 18.493,56 || AS (Subterrâneo) | 1.864,74 | 19.353,37 || B1-RESIDENCIAL: | | || Consumo mensal até 30 kWh | 7.821,71 || Consumo mensal de 31 a 100 kWh | 18.631,13 || Consumo mensal de 101 a 200 kWh | 31.619,32 || Consumo mensal acima 200 kWh | 41.362,97 || (linha se...	1.0
  Se eu estiver atuando em uma instalação do subgrupo A4 (2,3 kV a 25 kV) que utilize a Tarifa Horo-Sazonal Azul, qual o valor da demanda cobrada no horário de ponta e qual o valor fora de ponta?	### LEGISLAÇÃO| TIPO ATO | INSTITUIÇÃO | Nº ATO | DATA DO ATO | DATA D.O | PÁG. D.O || :--- | :--- | :--- | :--- | :--- | :--- || PORTARIA | DNAEE | 1.428 | 29/11/1993 | 02/12/1993 | 18.283 |---### QUADRO FTARIFA HORO-SAZONAL VERDE| SEGMENTO / HORO-SAZONAL / SUBGRUPO | CONSUMO (CR$/MWh) - PONTA - SECA | CONSUMO (CR$/MWh) - PONTA - ÚMIDA | CONSUMO (CR$/MWh) - FORA DE PONTA - SECA | CONSUMO (CR$/MWh) - FORA DE PONTA - ÚMIDA || :--- | :---: | :---: | :---: | :---: || A3a | 95.560,63 | 93.993,09 | 10.043,24 | 8.876,00 || A4 | 99.069,60 | 97.445,93 | 10.409,96 | 9.199,61 || AS (Sub) | 103.675,55 | 101.976,37 | 10.893,98 | 9.627,30 |COCEL.---### QUADRO GTARIFA DE ULTRAPASSAGEM - HORO-SAZONAL VERDE| SUBGRUPO | DEMANDA (CR$/kW) PERÍODO SECO OU ÚMIDO || :--- | :---: || A3a (30 a 44 kV) | 3.608,79 || A4 (2,3 a 25 kV) | 3.336,91 || AS (Subterrâneo) | 5.117,41 |---### QUADRO HTARIFA DE EIST| SUBGRUPO | CONSUMO (CR$/MWh) || :--- | :---: || A1 e A...	0.2

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 1
• learning_rate: 2e-05
• warmup_steps: 0.1
• gradient_accumulation_steps: 8
• bf16: True
• eval_on_start: True

All Hyperparameters

• per_device_train_batch_size: 8
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 8
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: True
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs