Экспериментальная 21,6-миллиардная модель семейства Llama для генерации текста и дальнейшего дообучения или слияния.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель chargoddard/llama2-22b-blocktriangular — экспериментальная языковая модель на архитектуре Llama с 21,6 млрд параметров. В README указано, что она похожа на llama2-22b, но создана с параметром BLOCK_DIAGONAL=false при слиянии и обучалась на удвоенном числе токенов дообучения. Репозиторий содержит веса PyTorch, задача модели — генерация текста, а контекст составляет около 4 098 токенов.
Автор позиционирует модель как основу для дальнейшего дообучения и слияния, а не для непосредственного использования. В README приведены результаты Open LLM Leaderboard: среднее значение 46,86, ARC — 58,28 и HellaSwag — 82,69; полный набор результатов здесь не представлен. Датасет в метаданных — RedPajama-Data-1T-Sample. Условия лицензии в предоставленных сведениях не указаны.
Автор не рекомендует использовать модель напрямую: она предназначена как база для дальнейшего дообучения и слияния. Языки и лицензия в предоставленных сведениях не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Similar to llama2-22b, but with BLOCK_DIAGONAL=false in the merge and twice the fine-tuning tokens.
Again, not intended for direct use - meant as a base for further tuning and merging.
Detailed results can be found here
| Metric | Value |
|---|---|
| Avg. | 46.86 |
| ARC (25-shot) | 58.28 |
| HellaSwag (10-shot) | 82.69 |
| MMLU (5-shot) | 54.53 |
| TruthfulQA (0-shot) | 39.23 |
| Winogrande (5-shot) | 75.93 |
| GSM8K (5-shot) | 11.22 |
| DROP (3-shot) | 6.17 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…