Объединённая методом TIES модель Llama 3 на 7,5 млрд параметров для генерации кода и ответов на инструкции.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
0,1809
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
0,0778
Публичная таблицадругая ревизия
Описание составлено по карточке модели и метаданным Hugging Face
rombodawg/rombos_Replete-Coder-Instruct-8b-Merged — объединённая методом TIES языковая модель для генерации кода и диалоговых инструкций. Она основана на слиянии трёх моделей семейства Llama 3 8B, включая NousResearch/Meta-Llama-3-8B, NousResearch/Meta-Llama-3-8B-Instruct и Replete-AI/Llama3-8B-Instruct-Replete-Adapted. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 8192 токенов.
Модель предназначена для генерации и дополнения кода, а также для ответов в формате инструкционного диалога. В README автор сообщает, что кодовые и общие результаты кажутся лучше, чем у обеих базовых моделей, но подробные будущие бенчмарки ещё не представлены; в карточке также приведены отдельные результаты Open LLM Leaderboard. Поддержка языков программирования и естественных языков отдельно не описана.
Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.
Автор отмечает, что сравнительные результаты пока предварительные: подробные бенчмарки обещаны на будущее. Поддерживаемые языки и качество на конкретных языках программирования в карточке не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a Ties merge between the following models:
The Coding, and Overall performance of this models seems to be better than both base models used in the merge. Benchmarks are coming in the future.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 16.32 |
| IFEval (0-Shot) | 53.88 |
| BBH (3-Shot) | 21.94 |
| MATH Lvl 5 (4-Shot) | 7.10 |
| GPQA (0-shot) | 2.57 |
| MuSR (0-shot) | 3.45 |
| MMLU-PRO (5-shot) | 8.98 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…