Характеристики

Базовая модель: Llama-3.1-Nemotron-70B-Instruct-HF-bf16
Опубликована: 30 июн 2025

Ссылки

Hugging Face

mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-GGUF

featherless-ai-quants

Генерация текстаТекст → текст8 профессий

GGUF-сборка Llama 3.1 Nemotron 70B Instruct с вариантами квантования для генерации текста и диалогового общения.

281скачиваний за 30 дней0лайковвеса обновлены30 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это размещённая Featherless AI сборка модели Llama 3.1 Nemotron 70B Instruct в формате GGUF с вариантами квантования. Она предназначена для генерации текста и диалогового общения; репозиторий перечисляет варианты IQ4_XS, Q2_K и Q3_K_L, а также сообщает о наличии ещё восьми строк вариантов квантования.

Модель подходит для запуска чат-ассистента и генерации ответов на текстовые запросы. Размер базовой модели — 70 млрд параметров, однако размеры отдельных файлов в README относятся к папкам с вариантами квантования. Данных о поддерживаемых языках и длине контекста в предоставленных источниках нет.

Варианты квантования позволяют выбирать между размером файлов и точностью представления весов; конкретные характеристики качества и требования к ресурсам не приведены. Лицензия в предоставленных данных не указана.

Сценарии применения

создание диалогового чат-ассистента
генерация ответов на текстовые запросы
подготовка черновиков и пояснений
локальный запуск языковой модели в совместимой среде

Ограничения

Сведения о качестве на конкретных задачах, поддерживаемых языках и длине контекста отсутствуют в предоставленных данных. Лицензия также не указана.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF-bf16 GGUF Quantizations 🚀

Featherless AI Quants

Optimized GGUF quantization files for enhanced model performance

Powered by Featherless AI - run any model you'd like for a simple small fee.

Available Quantizations 📊

Quantization Type	File	Size
IQ4_XS	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-IQ4_XS	36496.80 MB (folder)
Q2_K	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q2_K	25153.27 MB (folder)
Q3_K_L	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q3_K_L	35420.03 MB (folder)
Q3_K_M	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q3_K_M	32680.03 MB (folder)
Q3_K_S	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q3_K_S	29480.03 MB (folder)
Q4_K_M	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q4_K_M	40550.61 MB (folder)
Q4_K_S	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q4_K_S	38478.11 MB (folder)
Q5_K_M	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q5_K_M	47635.86 MB (folder)
Q5_K_S	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q5_K_S	46403.36 MB (folder)
Q6_K	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q6_K	55206.44 MB (folder)
Q8_0	mlx-community-Llama-3.1-Nemotron-70B-Instruct-HF-bf16-Q8_0	71501.79 MB (folder)

⚡ Powered by Featherless AI

Key Features

🔥 Instant Hosting - Deploy any Llama model on HuggingFace instantly
🛠️ Zero Infrastructure - No server setup or maintenance required
📚 Vast Compatibility - Support for 2400+ models and counting
💎 Affordable Pricing - Starting at just $10/month

Links:
Get Started | Documentation | Models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Можно запустить

Подбираем GPU…

Ревизия весов: 732ed30