Экспериментальная дообученная модель Arcee AI на базе Qwen2.5-3B для диалоговой генерации текста и задач рассуждения.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,1035
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,2854
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
Raspberry-3B — экспериментальная языковая модель Arcee AI на архитектуре Qwen2, дообученная на базе Qwen/Qwen2.5-3B и ориентированная на задачи рассуждения. Она генерирует текст в формате ChatML и поддерживает диалоговый сценарий; заявленный контекст составляет 32 768 токенов, размер — около 3,1 млрд параметров. В карточке приведены результаты оценок на IFEval и BBH.
Модель может подойти для экспериментов с рассуждением и диалоговой генерацией текста. Автор прямо характеризует её как экспериментальную и не предназначенную для производственного использования. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.
Автор не рекомендует модель для производственного использования и обозначает её как экспериментальную. Условия лицензии с пометкой other не уточнены в предоставленных данных.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Prompt Format: ChatML
This is an experimental which was heavily optimized for reasoning tasks and not meant for production-use.
GGUFs: https://huggingface.co/mradermacher/raspberry-3B-GGUF
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 15.40 |
| IFEval (0-Shot) | 31.54 |
| BBH (3-Shot) | 19.53 |
| MATH Lvl 5 (4-Shot) | 7.63 |
| GPQA (0-shot) | 3.69 |
| MuSR (0-shot) | 9.41 |
| MMLU-PRO (5-shot) | 20.60 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…