Qwen2-0.5B 古诗词生成微调模型
这是一个基于 Qwen/Qwen2-0.5B 进行 LoRA 微调并合并后的古诗词生成模型。
模型介绍
本项目通过 LoRA (Low-Rank Adaptation) 技术，在少量古诗词数据集上对 Qwen2-0.5B 进行了微调，使其能够根据用户输入的主题（如“春天”、“夏天”等）生成对应风格的古诗词。
训练数据
- 数据集：自定义古诗词数据集（包含春夏秋冬等不同主题）。
- 训练轮次：50 Epochs。
- 最终训练损失：约 7.68。
使用方法
你可以使用 transformers 库直接加载此模型进行推理：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "qiangge2026/merged_qwen"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
prompt = "用户：写一首关于春天的诗\n助手："
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=50, do_sample=True, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))