Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: Llama 3.1
Архитектура: llama · dense
Базовая модель: Llama-3.1-Nemotron-70B-Instruct-HF
Библиотека: transformers
Опубликована: 17 ноя 2024

Ссылки

Hugging Face

Llama3.1-70B-PlumChat

sequelbox

Генерация текстаТекст → текст15 профессий

PlumChat 70b — объединённая модель Llama 3.1 на 69,5 млрд параметров для чата, научных запросов и сложных инструкций.

44скачиваний за 30 дней0лайковвеса обновлены4 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

GPQA
GPQA Raw · выше — лучше
Результат
0,3909
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,5616
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,3029
Open LLM v2 · архив
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,5164
Open LLM v2 · архив
Публичная таблицадругая ревизия
MUSR
MUSR Raw · выше — лучше
Результат
0,4774
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,6753
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers.

Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

Сценарии применения

ответы на сложные вопросы в диалоге
объяснение научных концепций
обсуждение задач по физике, биологии и химии
помощь с вопросами по информатике и инженерии
следование многошаговым инструкциям

Ограничения

Для запуска модели на 69,5 млрд параметров требуются значительные вычислительные ресурсы. README не приводит результаты сравнительных оценок качества.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PlumChat 70b

This is a merge of pre-trained language models created using mergekit.

Merge Details

Shining Valiant 2 + Nemotron for high quality general chat, science-instruct, and complex query performance.

Merge Method

This model was merged using the della merge method using meta-llama/Llama-3.1-70B-Instruct as a base.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

merge_method: della
dtype: bfloat16
parameters:
  normalize: true
models:
  - model: nvidia/Llama-3.1-Nemotron-70B-Instruct-HF
    parameters:
      density: 0.5
      weight: 0.3
  - model: ValiantLabs/Llama3.1-70B-ShiningValiant2
    parameters:
      density: 0.5
      weight: 0.25
base_model: meta-llama/Llama-3.1-70B-Instruct

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 3822fe6