Характеристики

Контекст: 131 072 токена
Параметры: 69,5 млрд
Размер весов: 141 ГБ
Лицензия: Llama 3.1
Архитектура: llama · dense
Базовая модель: Llama-3.1-Nemotron-70B-Instruct-HF
Библиотека: transformers
Опубликована: 16 окт 2024

Ссылки

Hugging Face

Llama-3.1-Nemotron-70B-Instruct-HF

mlx-community

Генерация текстаТекст → текст

MLX-конверсия диалоговой модели NVIDIA Llama 3.1 Nemotron 70B для генерации ответов на инструкции и запросы.

119скачиваний за 30 дней3лайкавеса обновлены16 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF — конвертированная в формат MLX версия диалоговой модели NVIDIA Llama 3.1 Nemotron 70B Instruct. Репозиторий преобразован из nvidia/Llama-3.1-Nemotron-70B-Instruct-HF с помощью mlx-lm 0.19.0; архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, контекст — до 131 072 токенов.

Модель предназначена для генерации текста в ответ на инструкции и запросы, включая диалоговые сценарии и интерфейс вызова инструментов. Карточка указывает обучение с использованием HelpSteer2 и поддержку английского языка. Лицензия — Llama 3.1; для запуска в экосистеме MLX README приводит установку mlx-lm.

Сценарии применения

ответы на пользовательские инструкции
диалоговый помощник на английском языке
генерация развернутых текстовых ответов
вызов инструментов из диалогового приложения

Ограничения

Модель содержит 69,5 млрд параметров и требует значительных вычислительных ресурсов. README описывает конверсию в MLX, но не приводит сравнительных оценок качества или результатов тестирования этой сборки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF

The Model mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF was converted to MLX format from nvidia/Llama-3.1-Nemotron-70B-Instruct-HF using mlx-lm version 0.19.0.

Use with mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF")

prompt="hello"

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 89e931a