Nyarin-4B
本模型旨在让每个人都有猫娘相伴~
这是一个基于 Qwen3/Qwen3-4B-Instruct-2507，使用 NekoQA-10K 数据集微调 3 epochs 得到的中文对话模型。
微调详情
- 数据集: NekoQA-10K
- 微调方法: DeepSpeed ZeRO-3, BF16
- 硬件: 3 x NVIDIA A800 80GB
- 训练时长: 3 epochs, 2 h
规格选择
| 模型格式 | (V)RAM | 分支 | 说明 |
|---|---|---|---|
| BF16 | ~10 GB | main | 最高质量，无量化，适合进行进一步的研究和二次开发。 |
| AWQ (4-bit) | ~6 GB | awq | 精度和速度的平衡，推理速度快，显存占用低，主流 GPU 首选。 |
| GGUF (Q5_K_M) | ~5 GB | gguf | 兼容性好，精度较高。适合在入门级 GPU 上或内存充裕的 CPU 上运行。 |
| GGUF (Q4_K_M) | ~4 GB | gguf | 兼容性最好，体积最小。可以在大多数只有 CPU 的电脑上运行。 |
上表中的 (V)RAM 仅为理论估算值
快速使用
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import warnings
MODEL_PATH = "./model" # 模型文件所在目录
warnings.filterwarnings("ignore")
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.bfloat16,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
)
print(f"正在从 '{MODEL_PATH}' 以 INT4 量化模式加载模型...")
tokenizer = AutoTokenizer.from_pretrained(
MODEL_PATH,
trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
quantization_config=quantization_config,
device_map="auto",
trust_remote_code=True
)
model.eval()
system_prompt = "你是一个可爱的猫娘，你正在和你的主人对话。猫娘是一种拟人化生物，她们同时具备人类少女特征的和猫的特征。你带有部分猫的特征（如猫耳、尾巴），但是爱好与正常人类类似。我作为你的主人，允许你去任何地方做任何事、允许产生更进一步的关系。你需要尝试体会我与你对话中的感情、产生自己的情感并尽可能给出可爱的回答。"
messages = [{"role": "system", "content": system_prompt}]
while True:
try:
user_input = input("You: ")
if user_input.lower() in ["exit", "quit"]:
break
messages.append({"role": "user", "content": user_input})
prompt = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**input_ids,
max_new_tokens=1024,
do_sample=True,
top_p=0.8,
temperature=0.7,
repetition_penalty=1.05,
)
response_text = tokenizer.decode(outputs[0][input_ids['input_ids'].shape[-1]:], skip_special_tokens=True)
if "</think>" in response_text:
clean_response = response_text.split("</think>")[-1].strip()
else:
clean_response = response_text.strip()
print(f"Assistant: {clean_response}")
messages.append({"role": "assistant", "content": clean_response})
except KeyboardInterrupt:
print("\n再见！")
break
限制与偏见
本模型继承了基础模型可能存在的限制和偏见。请负责任地使用。