Экспериментальная MoE-модель для диалогов и генерации историй, включая ролевые сценарии.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Umbra-v3-MoE-4x11b — языковая модель с архитектурой Mixture of Experts, созданная SteelSkull путём объединения четырёх моделей: Himitsui/Kaiju-11B, Sao10K/Fimbulvetr-11B-v2, decapoda-research/Antares-11b-v2 и beberik/Nyxene-v3-11B. В метаданных указаны 10,6 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель предназначена для генерации текста и диалогов.
Модель рассчитана на общую помощь, особенно на написание историй и ролевые диалоги, в том числе ERP. Карточка называет версию экспериментальной и сообщает о корректировках промптов; приведённые результаты бенчмарков не раскрывают всех условий оценки. Метаданные указывают лицензию Apache-2.0.
Автор описывает v3 как очередной эксперимент, поэтому качество и поведение модели могут быть нестабильными. Подтверждённые языки и условия получения приведённых результатов бенчмарков в доступной карточке не раскрыты.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 73.09 |
| AI2 Reasoning Challenge (25-Shot) | 68.43 |
| HellaSwag (10-Shot) | 87.83 |
| MMLU (5-Shot) | 65.99 |
| TruthfulQA (0-shot) | 69.30 |
| Winogrande (5-shot) | 83.90 |
| GSM8k (5-shot) | 63.08 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…