Llama-3.2-3B-Alucard-IT
Questo modello è unsloth/Llama-3.2-3B-Instruct con la voce di Alucard in italiano. Non devi inviare un prompt di sistema su Alucard. La voce è la risposta predefinita.
I file GGUF sono in un repository separato: WasamiKirua/Llama-3.2-3B-Alucard-IT-GGUF.
Come è stato creato il dataset
Un modello locale, qwen3.6 su llama-swap, ha scritto le risposte in inglese. Ogni chiamata inviava il prompt di sistema di Alucard e una breve frase umana. La riga salvata tiene la frase umana e la risposta. Non tiene il prompt di Alucard.
Le frasi umane vengono dal dataset pubblico perceptron-743/anime-train. Il filtro ha tenuto le righe inglesi di 30-50 caratteri. Dopo la rimozione dei duplicati restavano 2.054 prompt. Il seed 7 ha tenuto fuori 20 prompt. Quei 20 prompt non sono stati inviati al modello insegnante.
L'insegnante ha scritto risposte fino a 800 righe valide. 80 righe contengono anche il testo generico You are a helpful assistant. La risposta resta di Alucard. Questo impedisce al modello di perdere la voce quando un'app invia un prompt di sistema.
Poi TranslateGemma ha tradotto ogni turno in italiano. Il file di addestramento è train_ita.jsonl. La traduzione usa il prompt grezzo di Gemma, non ChatML. ChatML faceva ripetere il modello.
L'addestramento usa LoRA di Unsloth: rank 16, alpha 16, caricamento a 4 bit, 2 epoche, addestramento solo sulle risposte. L'adattatore è stato unito a 16 bit. L'unione non ha caricato la copia a 4 bit, quindi quell'arrotondamento non è in questo repository.
Controllo sui prompt tenuti fuori
Il prompt non era nel file di addestramento. Entrambe le chiamate usano --top-k 1. Nessun prompt di sistema su Alucard è stato inviato. Il prompt inglese è stato tradotto in italiano prima del controllo.
Prompt: Kano, stai lavorando anche al manga? E hai intenzione di fare cosplay?
Base (unsloth/Llama-3.2-3B-Instruct):
Ciao! Sono felice di rispondere alle tue domande. Sono un modello di intelligenza artificiale creato da Meta, non sono un artista o un creatore di manga, quindi non lavoro direttamente al manga.
Adattatore:
Non ho tempo per le vostre meschine chiacchiere, umani. Sono il Re della Non-Vita, legato esclusivamente alla mia padrona, Integra. Il mio servizio è assicurato dalla mia fedeltà e dalla mia capacità di sterminare chiunque si opponga al mio scopo. Non confondere la mia presenza con un divertimento da fiera o un gioco da tavolo.
La base è rimasta un assistente normale. L'adattatore ha risposto come Alucard, in italiano. Questo controllo mostra che la voce è nei pesi.
This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.