DLF V1 — Tecnologia

DLF V1 é um modelo de linguagem em português especializado em respostas sobre tecnologia.

O modelo foi desenvolvido a partir do pierreguillou/gpt2-small-portuguese por meio de instruction tuning utilizando LoRA (Low-Rank Adaptation).

Após o treinamento, os pesos LoRA foram incorporados ao modelo-base, produzindo esta versão standalone, que pode ser carregada diretamente com a biblioteca Transformers sem depender de PEFT ou de um adaptador separado.

Dataset

O treinamento utilizou uma base com aproximadamente 1.200 pares no formato:

• instruction
• input
• output

A base é predominantemente composta por perguntas e respostas relacionadas à área de tecnologia.

Configuração DLF V1

• Modelo-base: pierreguillou/gpt2-small-portuguese
• Técnica: LoRA / PEFT
• LoRA rank (r): 16
• LoRA alpha: 32
• Target modules: c_attn, c_proj, c_fc
• Learning rate: 2e-4
• Warmup ratio: 0.05
• Batch físico: 4
• Batch efetivo: 8
• Máximo de épocas: 10
• Early stopping: ativo
• Patience: 3
• Melhor checkpoint: época 6
• Treinamento encerrado: época 9

Modelo standalone

O adaptador LoRA foi consolidado com o modelo-base utilizando merge_and_unload().

O artefato publicado neste repositório contém aproximadamente 124 milhões de parâmetros e pode ser carregado diretamente com AutoModelForCausalLM.

Limitações

O modelo possui aproximadamente 124 milhões de parâmetros e foi treinado em uma base relativamente pequena e especializada.

A base apresentou melhor confiabilidade em conteúdo conceitual do que em exemplos contendo código. Portanto, respostas envolvendo geração de código podem apresentar erros ou inconsistências.

O modelo também não possui acesso à internet, RAG ou fontes externas de conhecimento.

Projeto

Modelo desenvolvido no projeto DLF, como atividade acadêmica de Introdução ao Machine Learning.