Llama3 中文增强预训练基座模型
项目概述
本项目使用 LLaMA-Factory 对 Llama3-8b 模型进行了中文增强预训练。
Models
-
Chat models
Name Download Guru-Llama-3-8B-Chat • 🤗 Hugging Face • 🤖 ModelScope -
Base models
Name Download Guru-Llama-3-8B • 🤗 Hugging Face • 🤖 ModelScope
评测
CMMLU
| Name | Average | STEM | Social Sciences | Humanities | Other |
|---|---|---|---|---|---|
| Five-shot | 49.59 | 42.28 | 51.37 | 51.87 | 51.79 |
| Zero-shot | 40.53 | 36.31 | 41.13 | 40.82 | 43.20 |
MMLU
| Name | Average | STEM | Social Sciences | Humanities | Other |
|---|---|---|---|---|---|
| Five-shot | 60.88 | 49.77 | 71.62 | 55.22 | 69.24 |
| Zero-shot | 58.97 | 48.30 | 69.62 | 52.75 | 67.81 |
训练数据集
| 资源名称 | 描述 | 记录数量 | 文件名 | 文件大小(MB) | 文件占比(%) |
|---|---|---|---|---|---|
| 新闻联播内容 | 2016-2024年的新闻联播 | 31,637篇 | cctv_news.jsonl | 43 | 0.029 |
| 中华古诗词数据库 | 古诗词数据库 | 390,904篇 | poetry.jsonl | 110 | 0.074 |
| 诗人数据库 | 诗人数据库 | 10,477条 | poet.jsonl | 3.7 | 0.002 |
| 中国古典小说数据库 | 中国古典小说数据库 | 431本 | novel.jsonl | 242 | 0.163 |
| 金庸小说 | 金庸小说 | 15本 | jinyong.jsonl | 25 | 0.017 |
| 中国近现代历史文献选集 | 中国近现代历史文献选集 | 131篇 | bibliography.jsonl | 2.3 | 0.002 |
| 成语数据库 | 成语数据库 | 23,148条 | idiom.jsonl | 2.5 | 0.002 |
| 中国近代史-徐中约 | 中国近代史-徐中约 | 上、下两册 | modern_chinese_history.jsonl | 1.9 | 0.001 |
| 高质量中英文翻译数据 | 中英文高质量翻译对 | 69,206条 | translation.jsonl | 44 | 0.030 |
| 维基百科 | 中文维基百科 (2023年7月20日) | 254,547条 | wikipedia-cn-20230720.jsonl | 488 | 0.329 |
| 作文 | 作文集 | 269,370篇 | composition.jsonl | 517 | 0.349 |
| 散文 | 散文作品集 | 658篇 | prose.jsonl | 2.9 | 0.002 |
使用指南
环境配置
确保您的机器已经安装了以下软件：
- Python 3.8+
- PyTorch 1.8+
安装
首先安装所需依赖：
pip install modelscope
模型下载
使用以下命令加载并运行模型：
from modelscope import snapshot_download
model_dir = snapshot_download('wifibaby4u/Guru-Llama-3-8B')
贡献
我们欢迎社区开发者的贡献！如果您有兴趣参与本项目的开发或有任何建议，欢迎通过 Issue 或 Pull Request 的方式与我们联系。