Cabra Mistral 7b v3 - 32k

Esse modelo é um finetune do Mistral 7b Instruct 0.3 com o dataset Cabra12k. Esse modelo é optimizado para português e tem limite de contexto de 32k.

Conheça os nossos outros modelos: Cabra.

Detalhes do Modelo

Modelo: Mistral 7b Instruct 0.3

Mistral-7B-v0.3 é um modelo de transformador, com as seguintes escolhas arquitetônicas:

• Grouped-Query Attention
• Sliding-Window Attention
• Byte-fallback BPE tokenizer

dataset: Cabra 12k

Dataset interno para finetuning. Vamos lançar em breve.

Quantização / GGUF

Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".

Exemplo

<s> [INST] who is Elon Musk? [/INST]Elon Musk é um empreendedor, inventor e capitalista americano. Ele é o fundador, CEO e CTO da SpaceX, CEO da Neuralink e fundador do The Boring Company. Musk também é o proprietário do Twitter.</s>

Paramentros de trainamento

- learning_rate: 1e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- distributed_type: multi-GPU
- num_devices: 2
- gradient_accumulation_steps: 8
- total_train_batch_size: 64
- total_eval_batch_size: 8
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: cosine
- lr_scheduler_warmup_ratio: 0.01
- num_epochs: 3

Framework

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu118
• Datasets 2.14.6
• Tokenizers 0.15.2

Evals

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard