Дообученная компактная модель Qwen2.5 для генерации текста и диалоговых приложений.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0302
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,1555
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Модель FlofloB/83k_continued_pretraining_Qwen2.5-0.5B-Instruct_Unsloth_merged_16bit — дообученная FlofloB версия диалоговой языковой модели Qwen2.5-0.5B-Instruct. Она предназначена для генерации текста и диалогов; в метаданных также указана возможность работы через интерфейс вызова инструментов. Модель содержит 494 млн параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. При обучении использовались Unsloth и TRL, а среди связанных данных указан датасет UncovAI/fineweb_CC-MAIN-2024-18_100k_output_UncovAI_83362.
В README приведены результаты Open LLM Leaderboard: средний балл 7,92, IFEval — 28,69, BBH — 8,13. Это небольшая модель, поэтому её можно рассматривать для компактных диалоговых приложений и генерации текста, учитывая, что приведённые оценки не гарантируют качество для конкретной задачи. Лицензия — Apache-2.0.
В карточке приведены лишь отдельные результаты бенчмарков, которые не позволяют оценить качество на всех прикладных задачах. Английский указан среди языков модели; поддержка других языков в предоставленных данных не подтверждена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This qwen2 model was trained 2x faster with Unsloth and Huggingface's TRL library.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 7.92 |
| IFEval (0-Shot) | 28.69 |
| BBH (3-Shot) | 8.13 |
| MATH Lvl 5 (4-Shot) | 0.00 |
| GPQA (0-shot) | 3.13 |
| MuSR (0-shot) | 1.42 |
| MMLU-PRO (5-shot) | 6.17 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…