Описание составлено по карточке модели и метаданным Hugging Face
XinYuan-Qwen2-7B — чат-модель на базе плотной архитектуры Qwen2 с 7,1 млрд параметров. Разработчик — thomas-yanxin; модель создана для проверки качества набора данных thomas-yanxin/MT-SFT-ShareGPT и влияния подготовки данных на результаты дообучения методом SFT.
Модель предназначена для генерации текста и диалоговых сценариев. В README приведены результаты оценки OpenCompass, включая показатели на англоязычных тестах MMLU и MMLU-Pro. Контекстное окно составляет 131 072 токена; карточка указывает поддержку китайского и английского языков. Модель опубликована в формате safetensors.
Лицензия указана как other, без уточнения конкретных условий в предоставленных данных. Результаты тестов показывают оценку на отдельных бенчмарках и сами по себе не гарантируют качество в других задачах.
Сценарии применения
генерация ответов в диалоге на китайском языке
генерация ответов в диалоге на английском языке
экспериментальная оценка качества набора данных для SFT
сравнение результатов языковой модели на бенчмарках MMLU и MMLU-Pro
Ограничения
Лицензия обозначена как other, поэтому конкретные условия использования по предоставленным данным определить нельзя. Приведённые в карточке результаты относятся к отдельным бенчмаркам и не гарантируют качество в иных сценариях.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
The main purpose of this model is to validate the usability of thomas-yanxin/MT-SFT-ShareGPT, i.e., the quality of the data is all you need. We found that when we meticulously extract the data through a better data governance approach, the corresponding model results can be vastly improved, even if only through SFT.
Here are the results from our OpenCompass evaluation：
Classification
Benchmarks
Models
名称
XinYuan-Qwen2-7B
English
MMLU
68.71
MMLU-Pro
30.56
Theorem QA
25.3
GPQA
29.2
BBH
60.3
IFEval (Prompt Strict-Acc.)
39.2
ARC-C
87.5
Math
GSM8K
75.4
MATH
34.76
Chinese
C-EVAL
82.0
CMMLU
77.9
Code
MBPP
50.6
HumanEval
70.1
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров