BotBot Cabra Mixtral 8x7b
Esse modelo é um finetune do Mixtral 8x7b com o dataset Cabra 30k. Esse modelo é optimizado para português. Ele apresenta melhoria em varios benchmarks brasileiros em comparação com o modelo base.
Conheça os nossos outros modelos: Cabra.
dataset: Cabra 30k
Dataset interno para finetuning. Vamos lançar em breve.
Quantização / GGUF
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
Exemplo
<s> [INST] who is Elon Musk? [/INST]Elon Musk é um empreendedor, inventor e capitalista americano. Ele é o fundador, CEO e CTO da SpaceX, CEO da Neuralink e fundador do The Boring Company. Musk também é o proprietário do Twitter.</s>
Uso
O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
- Pesquisa sobre modelos gerativos.
- Investigação e compreensão das limitações e viéses de modelos gerativos.
Proibido para uso comercial. Somente pesquisa.
Evals
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard
| Metric | Value |
|---|---|
| Average | 73.96 |
| ENEM Challenge (No Images) | 78.17 |
| BLUEX (No Images) | 64.12 |
| OAB Exams | 55.49 |
| Assin2 RTE | 90.95 |
| Assin2 STS | 77.63 |
| FaQuAD NLI | 78.93 |
| HateBR Binary | 78 |
| PT Hate Speech Binary | 69.54 |
| tweetSentBR | 72.83 |