SentenceTransformer based on google/embeddinggemma-300m

This is a sentence-transformers model finetuned from google/embeddinggemma-300m. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "voto legalidade pens\u00e3o servidor professor n\u00edvel estadual lei complementar 772010 manifesta\u00e7\u00f5es favor\u00e1veis unidades t\u00e9cnicas  procuradoria auditoria resolu\u00e7\u00e3o 222008 artigo 46 inciso x  processo 201911129003895  justificativa dispensada  goiania agosto 2021  fundamenta\u00e7\u00e3o  relatorio gcsmr",
]
documents = [
    'Este trecho contém o voto do relator, que fundamenta a decisão pela legalidade da pensão, e um resumo detalhado dos elementos do processo, como as partes envolvidas, o cargo, o fundamento legal e as manifestações favoráveis das unidades técnicas.. 1 1 RELATÓRIO No 1967/2021 GCSM . VOTO Tendo em vista que há uniformidade nas manifestações da unidade técnica, da Auditoria e da Procuradoria-Geral de Contas, fica dispensada a formalização da justificativa do presente voto, eis que adoto igual entendimento, nos termos do artigo 46, inciso X, da Resolução n. 22/2008. Face ao exposto, VOTO pelo registro da pensão versada nos presentes autos. Goiânia, 16 de agosto de 2021 . SAULO MARQUES MESQUITA Conselheiro GCSM/NRF RELATÓRIO Natureza Pensão Servidor(a) Lindanita Neves Salgado Cargo Professor Nível Órgão Secretaria de Estado da Educação Fundamento legal Lei Complementar Estadual n. 77/2010 Beneficiário(s) Antônio Eustáquio Salgado, viúvo. Unidade Técnica Favorável Procuradoria de Contas Favorável Auditoria Favorável . Número do Processo: 201911129003895 . Número do Processo: 201911129003895',
    'Este trecho transita do Acórdão para o Relatório e Voto, detalhando o processo de aposentadoria voluntária de Ana Maria de Souza Marmori, incluindo a descrição do ato, os pareceres técnicos favoráveis e a introdução da discussão sobre a competência do Tribunal.. TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS, em Goiânia Acórdão No: 4804/2024Acórdão No: 4804/2024 TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS Processo no 202300017000030- Pág . 1 2 RELATÓRIO E VOTO No 784/2024 GCCS PROCESSO No: 202300017000030 ASSUNTO: APOSENTADORIA CONCESSÃO ORIGEM: SECRETARIA DE ESTADO DA ADMINISTRAÇÃO INTERESSADA: ANA MARIA DE SOUZA MARMORI Trata-se de ato de aposentadoria voluntária, em nome de ANA MARIA DE SOUZA MARMORI, no cargo de Auxiliar de Gestão Administrativa, Classe Padrão do Grupo Ocupacional de mesmo nome, do Quadro Permanente de Pessoal , do órgão Secretaria de Estado da Administração, submetido, para fins de registro, à apreciação do Tribunal de Contas do Estado de Goiás, encaminhado a esta Corte de Contas para os fins do artigo 26, III, da Constituição do Estado de Goiás, art . 1o, inciso IV, da Lei no 16.168/2007 (Lei Orgânica do TCE-GO). Encaminhados os autos a esta Corte de Contas, o Serviço de Registro informou que foi encontrado registro de Admissão em nome da interessada. Em seguida, a Unidade Técnica, o Ministério Público de Contas e a Auditoria manifestaram-se pela legalidade e registro do ato concessório de aposentadoria. É o relatório. Passo ao voto . A competência do Tribunal de Contas para registro do ato em apreço tem amparo no artigo 1o, inciso IV, da Lei no 16.168/07 artigo 26, inciso III, da Constituição do Estado de Goiás',
    'Este trecho compreende a maior parte do Voto do Relator, onde ele detalha sua análise jurídica e técnica sobre a legalidade dos atos de admissão e aposentadoria da servidora, responde a questões levantadas por outras áreas do Tribunal, como a Procuradoria de Contas e a Auditoria, e fundamenta sua recomendação final pelo registro dos referidos atos.. 16.168/07, nos termos da Lei n. 19.638/17. A admissão ocorreu mediante concurso público, merecendo registro. Para tal fim, mostram-se suficientes os documentos acostados no Evento 6, pág. 1 . Por sua vez, quanto à aposentadoria, o registro deve ser admitido, tendo em vista que restaram atendidas as disposições da Emenda Constitucional n 41/2003 . No que diz respeito à alegação ministerial referente ao provimento derivado, não se constitui em óbice ao registro da aposentadoria, haja vista a pacífica jurisprudência desta Corte, escorada no princípio da segurança jurídica, invocando-se como precedentes os fundamentos lançados nos autos n. 200800066003794 e n. 201000066005561 . A respeito da fixação dos proventos, a demonstração da composição contida nos autos encontra-se compatível com o fundamento legal do ato de jubilamento e a legislação aplicável (Evento 23). Com efeito, demonstrados os fundamentos jurídicos do ato em tela, resta concluir pela legalidade da aposentadoria . A documentação acostada aos autos supre com eficiência a finalidade das exigências contidas no artigo 3o, 1o e 2o, da , desta Corte. Quanto à multa sugerida pela Auditoria, não se mostra razoável sua aplicação, uma vez que o atraso no envio dos documentos não causou qualquer prejuízo à atuação do Controle Externo, justificando-se pela burocracia relacionada à tramitação processual . Face ao exposto, VOTO pelo registro dos atos de admissão e aposentadoria. Goiânia, 05 de outubro de 2021',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.9358,  0.0405, -0.4628]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 49,816 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 10 tokensmean: 37.28 tokensmax: 190 tokens	min: 88 tokensmean: 474.57 tokensmax: 2048 tokens	min: 100 tokensmean: 471.19 tokensmax: 1484 tokens

• Samples:

  anchor	positive	negative
  revisão transferência reserva remunerada militar promoção ato bravura lei 16168/07 artigo 26 inciso iii constituição estado goias artigo 6 iii 9 lei 15704/2006 lei 18182/2013 procedimento análise legalidade registro ato militar inativo processo 201800003007957	Este trecho inicia a seção de Relatório e Voto do Acórdão, apresentando o caso de revisão de transferência para reserva do interessado, resumindo os registros encontrados, as manifestações favoráveis dos órgãos técnicos e citando a base legal para a análise e a promoção.. TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS, em Goiânia, aos Acórdão No: 3307/2021Acórdão No: 3307/2021 TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS Processo no 201800003007957- Pág. 1 1 RELATÓRIO E VOTO No 78/2021 GCCS PROCESSO No: 201800003007957 ASSUNTO: TRANSFERÊNCIA PARA RESERVA REVISÃO ORIGEM: POLÍCIA MILITAR INTERESSADO: ELIAS FERREIRA TOSTA 1 . Tratam os autos sobre revisão de transferência para reserva remunerada de ELIAS FERREIRA TOSTA, em virtude de promoção por ato de bravura ao posto de Coronel, da Polícia Militar do Estado de Goiás. 2 . Encaminhados os autos a esta Corte de Contas, o Serviço de Registro informou que foram encontrados os seguintes registros em nome do interessado: a) Contrato de Trabalho, a partir de ...	Conclusão do Voto do Relator com data, local e assinatura, formalizando a decisão sobre a legalidade dos atos de pessoal.. Goiânia, 12 de novembro de 2024 . CELMAR RECH Conselheiro Documento assinado eletrônicamente com fundamento da Resolução Normativa 12/2017 do TCE-GO, Art. 6o. Número do Processo: 202100006066896 . 6o. Número do Processo: 202100006066896 . 6o, inc. I – login e senha
  legalidade admissão e transferência reserva policial militar goias processo 201900002085692	Este trecho finaliza o Voto do Conselheiro Relator, apresentando sua conclusão e recomendação pela legalidade e registro dos atos de admissão e transferência para a reserva do policial militar, conforme analisado no corpo do relatório e voto anteriores.. Saraiva, 8a ed., pág. 239). 16 . Neste contexto, ao teor de todo o exposto, devidamente instruídos estes autos, VOTO pela legalidade do registro, em nome de Varley Alves Viana, RG no 18 .667 PM-GO, dos atos de: admissão, na graduação de Soldado PM, a partir de 20/09/1986; e de Transferência para a Reserva, na graduação de Sargento PM, do Quadro da Polícia Militar do Estado de Goiás, com proventos integrais, nos termos da proposta de acórdão que ora submeto à deliberação deste Colegiado. Goiânia, 31 de maio de 2021. CELMAR RECH Conselheiro . Número do Processo: 201900002085692 . Número do Processo: 201900002085692	Este segmento inicia o relatório do processo de aposentadoria, detalhando o caso de Roberto Matias da Silva, incluindo histórico de serviço, tempo de contribuição e idade, além das etapas administrativas iniciais e cálculo dos proventos antes da análise do Tribunal.. À Secretaria Geral para as providências a seu cargo. TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS, Goiânia, Acórdão No: 1206/2025Acórdão No: 1206/2025 TRIBUNAL DE CONTAS DO ESTADO DE GOIÁS Processo no 202300036013533- Pág. 1 3 RELATÓRIO No 97/2025 GCCR. 1 . Tratam os autos de aposentadoria em nome de Roberto Matias da Silva, no cargo de Assistente de Transportes e Obras, Classe Padrão "III", do Quadro Permanente dos Servidores Efetivos da Agência Goiana de Infraestrutura e Transportes, com fundamento no artigo 20, incisos I a IV, 2o, inciso I, da EC no 103/2019, artigo 72 da LC no 161/2020, e na EC Estadual no 65/2019. 2 . O vínculo com a Administração Pública (CLT) iniciou-se em 06/06/1985, no cargo de Agente Administrativo I, d...
  concessão aposentadoria legalidade processo administrativo parecer cge lei 16168/07	Este trecho faz parte da seção "RELATÓRIO E VOTO" de um Acórdão do Tribunal de Contas do Estado de Goiás que analisa e decide sobre a legalidade de uma concessão de aposentadoria. Ele detalha a análise da Relatora, apresentando pareceres técnicos favoráveis e abordando pontos específicos levantados pelo Ministério Público de Contas sobre aspectos processuais e de legalidade, como a ausência de parecer da Controladoria-Geral do Estado e a validade de enquadramentos passados.. 5 . Por sua vez, a Auditoria se manifestou pela legalidade e registro do ato de concessão de aposentadoria. 6. É o relatório. Passo ao voto. 7. A competência do Tribunal de Contas para registro do ato em apreço tem amparo no artigo 1o, inciso IV, da Lei no 16.168/07 artigo 26, inciso III, da Constituição do Estado de Goiás. 8 . Observa-se que o feito está devidamente instruído e compatível com a legislação em vigor, razão pela qual não vislumbro óbice ao registro do ato. 9. A documentação acostada aos autos supre c...	Este trecho, localizado no relatório do processo, detalha as etapas de análise interna no Tribunal de Contas para o registro das admissões da SANEAGO. Ele descreve as verificações preliminares e a conclusão do serviço de fiscalização que recomendou a legalidade dos atos, iniciando a apresentação dos nomes dos admitidos.. 2. Devidamente instruídos e ordenados os atos no âmbito da Administração, vem o feito ao Tribunal de Contas para o devido controle de legalidade e registro. 3 . No Tribunal de Contas, preliminarmente, o Serviço de Registro informou que não foram encontrados registros em nome dos servidores interessados (evento 13). 4 . Em seguida, o Serviço de Fiscalização de Atos de Pessoal I (evento 46), informou que a instrução processual está completa nos termos dos atos normativos de regência, como também foram observados todos os pressupostos legais relativos ao preenchimento dos requisitos para registro dos atos de admissão , razão por que propôs considerar legal os atos de admi...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 1
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.1
• prompts: task: sentence similarity | query:

All Hyperparameters

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 1
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: task: sentence similarity | query:
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 5.1.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.7.1+cu126
• Accelerate: 1.10.0
• Datasets: 3.6.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}