🇮🇹 Emma-5 (ONNX)
Overview
Emma-5 è un "mini" Large Language Model decoder-only sperimentale sviluppato da Egomnia S.p.A., progettato per lingua italiana.
Sito ufficiale: https://emma.egomnia.com
Il modello è pensato per:
- comprensione contestuale moderata
- generazione di contenuti di media-piccola complessità
Non è progettato per applicazioni safety-critical o reasoning avanzato multi-step.
Architettura
- Tipo: GPT decoder-only
- Transformer blocks: 28
- Hidden size: 1.280
- Attention heads: 16 query + 4 KV (GQA 4:1)
- Head dimension: 80
- Feed-forward dimension: 3.456 (SwiGLU, ff_mult 8/3)
- Activation function: SwiGLU
- Normalization: RMSNorm
- Positional encoding: RoPE (theta 10.000)
- Dropout: 0.0
- Embeddings: tied (token embedding = lm_head)
Contesto e vocabolario
- Context length: 2.048 token
- Vocabulary size: 50.000 token
- Tokenizer: SentencePiece BPE con byte fallback
Dataset di training
- Codice: 40,48%
- Generalista: 39,46%
- Enciclopedico: 15,68%
- Libri: 3,07%
- Colloquiale: 0,73%
- Politico: 0,55%
Training pipeline
- Pretraining: 200.000 step
- Fine-tuning: SFT (3 epoche)
- DPO: disabilitato
- Corpus pretraining: 54,36 GB raw (~10,8 miliardi token)
Export e ottimizzazione
- Framework originale: PyTorch
- Export: ONNX
- Opset: 18
- Quantizzazione: INT8
- Peso modello ONNX: 2,46 GB (FP32)
- Peso quantizzato INT8: ~560 MB
Uso non previsto
- applicazioni mediche, legali o finanziarie critiche
- sistemi ad alta affidabilità o mission critical
- reasoning complesso multi-step
- ricerca scientifica avanzata senza supervisione
Focus prestazionale
Il modello è ottimizzato per:
- equilibrio tra qualità e latenza
- inference su CPU/GPU entry-level
- contesti leggeri
Limitazioni
- capacità di reasoning ancora limitata rispetto a modelli di grandi dimensioni
- possibile generazione di contenuti imprecisi o incompleti
- sensibilità a prompt ambigui o molto lunghi
- contesto limitato a 2.048 token
Licenza
Distribuito sotto licenza OpenRAIL-M, con eventuali vincoli derivati dalle licenze dei dataset utilizzati. Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati. Si richiede esprezzamente di citare Egomnia S.p.A. come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica.
Autore
Egomnia S.p.A.
Sito ufficiale
Inference (ONNX Runtime)
import onnxruntime as ort
session = onnxruntime.InferenceSession("model.onnx")
outputs = session.run(
None,
{
"input_ids": input_ids,
"attention_mask": attention_mask
}
)