Характеристики

Контекст: 4 096 токенов
Параметры: 467 млрд
Размер весов: 665 ГБ
Лицензия: Своя лицензия
Архитектура: nemotron · dense
Базовая модель: Nemotron-4-340B-Base
Опубликована: 24 июл 2024

Ссылки

Nemotron-4-340B-Base-hf

Генерация текстаТекст → текст4 профессии

Плотная базовая языковая модель NVIDIA Nemotron-4 на 340B-класса параметров для генерации текста и развёртывания через vLLM.

33скачиваний за 30 дней1лайквеса обновлены8 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Nemotron-4-340B-Base-hf — преобразованный чекпойнт базовой языковой модели NVIDIA Nemotron-4-340B-Base, подготовленный из контрольной точки v1.2 в формате .nemo. Это плотная авторегрессионная модель семейства Nemotron с архитектурой NemotronForCausalLM и 466,8 млрд параметров; она принимает текст и генерирует текст, а длина контекста составляет 4096 токенов.

Модель предназначена для генерации продолжений текста и развёртывания как базовая языковая модель. В README указана поддержка запуска через vLLM версии 0.5.4 или новее; приведённая команда использует параллелизм по 16 GPU. Репозиторий содержит веса safetensors. Данные об оценках в README относятся к FP8-чекпойнту и не позволяют сделать вывод о качестве именно опубликованного набора весов.

Указана лицензия other, поэтому условия использования следует сверять с лицензией и условиями NVIDIA для базовой модели. В карточке не заявлены конкретные языки, поэтому языковую специализацию не указываю.

Сценарии применения

генерация продолжения текста
развёртывание базовой LLM через vLLM
эксперименты с большими языковыми моделями
оценка базовых языковых моделей

Ограничения

Контекст ограничен 4096 токенами. Для запуска приведён сценарий с tensor parallel size 16; оценочные результаты в README получены на FP8-чекпойнте и не характеризуют напрямую веса safetensors этого репозитория.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Nemotron-4-340B-Base-hf

Converted checkpoint of nvidia/Nemotron-4-340B-Base. Specifically it was produced from the v1.2 .nemo checkpoint on NGC.

You can deploy this model with vllm>=0.5.4 (PR#6611):

vllm serve mgoin/Nemotron-4-340B-Base-hf --tensor-parallel-size 16

Evaluations

All the below evaluations were run with the FP8 checkpoint using lm-eval==0.4.3 on 8xA100 GPUs.

lm_eval --model vllm --model_args pretrained=/home/mgoin/code/Nemotron-4-340B-Base-hf-FP8,tensor_parallel_size=8,distributed_executor_backend="ray",max_model_len=4096,gpu_memory_utilization=0.6 --tasks truthfulqa_mc2 --num_fewshot 0 --batch_size 16
vllm (pretrained=/home/mgoin/code/Nemotron-4-340B-Base-hf-FP8,tensor_parallel_size=8,distributed_executor_backend=ray,max_model_len=4096,gpu_memory_utilization=0.6), gen_kwargs: (None), limit: None, num_fewshot: 0, batch_size: 16
|    Tasks     |Version|Filter|n-shot|Metric|   |Value |   |Stderr|
|--------------|------:|------|-----:|------|---|-----:|---|-----:|
|truthfulqa_mc2|      2|none  |     0|acc   |↑  |0.4869|±  |0.0142|

lm_eval --model vllm --model_args pretrained=/home/mgoin/code/Nemotron-4-340B-Base-hf-FP8,tensor_parallel_size=8,distributed_executor_backend="ray",max_model_len=4096,gpu_memory_utilization=0.6 --tasks winogrande --num_fewshot 5 --batch_size 16
vllm (pretrained=/home/mgoin/code/Nemotron-4-340B-Base-hf-FP8,tensor_parallel_size=8,distributed_executor_backend=ray,max_model_len=4096,gpu_memory_utilization=0.6), gen_kwargs: (None), limit: None, num_fewshot: 5, batch_size: 16
|  Tasks   |Version|Filter|n-shot|Metric|   |Value |   |Stderr|
|----------|------:|------|-----:|------|---|-----:|---|-----:|
|winogrande|      1|none  |     5|acc   |↑  |0.8887|±  |0.0088|

The original paper evals for reference:

image/png

The Minitron paper has more evals as well:

image/png

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модель не помещается даже в 8 × 80 ГБ.

Класс архитектуры: NemotronForCausalLM
Ревизия весов: 6c78d6f