Диалоговая модель на базе Qwen2.5-14B-Instruct для генерации текста и ролевого общения на китайском и английском языках.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,2379
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,4741
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Blue And White_Flycatcher-3AD1E — диалоговая языковая модель для генерации текста, созданная на базе Qwen2.5-14B-Instruct. Она предназначена для ролевых диалогов и сценариев общения; в карточке также приведены результаты оценок IFEval и BBH. Модель содержит 14 млрд параметров, использует плотную архитектуру класса LlamaForCausalLM и принимает контекст до 200 000 токенов. Указана поддержка китайского и английского языков.
Модель распространяется в формате safetensors по лицензии Apache 2.0. Карточка связывает её с ролевой моделью Cran-May/T.E-8.1, но не описывает конкретные настройки ролевого поведения или сравнительные результаты качества. Результаты тестов в README приведены частично.
Карточка не уточняет особенности ролевого поведения и не приводит полных результатов оценки. Несмотря на заявленное окно контекста до 200 000 токенов, README не сообщает о тестировании качества на такой длине.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Base Model: Qwen2.5-14B-Instruct
License: Apache 2.0
Blue And White_Flycatcher-3AD1E
model for roleplay is here Cran-May/T.E-8.1
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 29.12 |
| IFEval (0-Shot) | 49.08 |
| BBH (3-Shot) | 43.74 |
| MATH Lvl 5 (4-Shot) | 15.71 |
| GPQA (0-shot) | 10.74 |
| MuSR (0-shot) | 13.88 |
| MMLU-PRO (5-shot) | 41.56 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…