SAI-for-VinFast-FP32_100M
Mô hình được fine-tune từ SAI_100M, dành riêng cho tác vụ trợ lí ảo trên xe VinFast.
Bản FP32 gốc sau fine-tune, chưa quantize. Tải toàn bộ folder này để có
checkpoint, config, tokenizer và code model/inference cần thiết.
File trọng số: SAI-for-VinFast-FP32_100M.pt.
python -m pip install -r requirements.txt
python run.py "Tôi muốn tìm hiểu về xe điện VinFast." --max-new-tokens 64
Dùng loader SAI đi kèm; không dùng AutoModelForCausalLM.
Để chat nhiều lượt với beam search và tái sử dụng KV cache của phần hội thoại chung:
from pathlib import Path
import sentencepiece as spm
from src.inference.chat import SaiChat, load_model
model = load_model(Path("SAI-for-VinFast-FP32_100M.pt"), Path("config.json"), max_seq_len=10240)
tokenizer = spm.SentencePieceProcessor(model_file="tokenizer.model")
chat = SaiChat(model, tokenizer, context_size=10240)
messages = [{"role": "user", "content": "Tôi muốn tìm hiểu về xe điện VinFast."}]
print(chat.complete(messages, max_tokens=64)["text"])