/ Модель
Каталог

Характеристики

Лицензия
Своя лицензия
Базовая модель
Llama-3.1-Minitron-4B-Width-Base
Библиотека
gguf
Опубликована
17 авг 2024

Ссылки

Hugging Face

Llama-3.1-Minitron-4B-Width-Base-GGUF

legraphista
Генерация текстаТекст → текст5 профессий

Llama-3.1-Minitron-4B-Width-Base-GGUF — это GGUF-версия базовой модели nvidia/Llama-3.1-Minitron-4B-Width-Base, подготовленная пользователем legraphista с помощью llama.cpp.

1 655скачиваний за 30 дней13лайковвеса обновлены17 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. Это базовая, а не инструкционно дообученная версия, поэтому её применение для диалогов и выполнения команд может потребовать дополнительной настройки или дообучения.

Модель содержит около 4 млрд параметров и поставляется в нескольких вариантах точности и квантования: BF16, F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других форматах GGUF. Размер файлов варьируется примерно от 1,84 до 9,03 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью работы и сохранением качества. В README не указаны поддерживаемые языки и размер контекстного окна; модальность — текстовая.

Ключевое преимущество сборки — возможность запуска модели на локальном оборудовании с ограниченными ресурсами благодаря квантованным вариантам. Более агрессивное квантование уменьшает требования к памяти, но может снижать качество генерации по сравнению с BF16 или F16. Условия использования определяются лицензией NVIDIA Open Model License Agreement; для модели указана лицензия nvidia-open-model-license.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Llama-3.1-Minitron-4B-Width-Base-GGUF

Llama.cpp static quantization of nvidia/Llama-3.1-Minitron-4B-Width-Base

Original Model: nvidia/Llama-3.1-Minitron-4B-Width-Base
Original dtype: BF16 (bfloat16)
Quantized by: llama.cpp b3600
IMatrix dataset: here

Files

Common Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Llama-3.1-Minitron-4B-Width-Base.Q8_0.ggufQ8_04.80GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q6_K.ggufQ6_K3.71GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q4_K.ggufQ4_K2.78GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q3_K.ggufQ3_K2.30GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q2_K.ggufQ2_K1.84GB✅ Available⚪ Static📦 No

All Quants

FilenameQuant typeFile SizeStatusUses IMatrixIs Split
Llama-3.1-Minitron-4B-Width-Base.BF16.ggufBF169.03GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.FP16.ggufF169.03GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q8_0.ggufQ8_04.80GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q6_K.ggufQ6_K3.71GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q5_K.ggufQ5_K3.23GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q5_K_S.ggufQ5_K_S3.16GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q4_K.ggufQ4_K2.78GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q4_K_S.ggufQ4_K_S2.66GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.IQ4_NL.ggufIQ4_NL2.68GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.IQ4_XS.ggufIQ4_XS2.55GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q3_K.ggufQ3_K2.30GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q3_K_L.ggufQ3_K_L2.46GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q3_K_S.ggufQ3_K_S2.10GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.IQ3_M.ggufIQ3_M2.18GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.IQ3_S.ggufIQ3_S2.11GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.IQ3_XS.ggufIQ3_XS2.03GB✅ Available⚪ Static📦 No
Llama-3.1-Minitron-4B-Width-Base.Q2_K.ggufQ2_K1.84GB✅ Available⚪ Static📦 No

Downloading using huggingface-cli

If you do not have hugginface-cli installed:

pip install -U "huggingface_hub[cli]"

Download the specific file you want:

huggingface-cli download legraphista/Llama-3.1-Minitron-4B-Width-Base-GGUF --include "Llama-3.1-Minitron-4B-Width-Base.Q8_0.gguf" --local-dir ./

If the model file is big, it has been split into multiple files. In order to download them all to a local folder, run:

huggingface-cli download legraphista/Llama-3.1-Minitron-4B-Width-Base-GGUF --include "Llama-3.1-Minitron-4B-Width-Base.Q8_0/*" --local-dir ./
# see FAQ for merging GGUF's

Inference

Llama.cpp

llama.cpp/main -m Llama-3.1-Minitron-4B-Width-Base.Q8_0.gguf --color -i -p "prompt here"

FAQ

Why is the IMatrix not applied everywhere?

According to this investigation, it appears that lower quantizations are the only ones that benefit from the imatrix input (as per hellaswag results).

How do I merge a split GGUF?

  1. Make sure you have gguf-split available
  2. Locate your GGUF chunks folder (ex: Llama-3.1-Minitron-4B-Width-Base.Q8_0)
  3. Run gguf-split --merge Llama-3.1-Minitron-4B-Width-Base.Q8_0/Llama-3.1-Minitron-4B-Width-Base.Q8_0-00001-of-XXXXX.gguf Llama-3.1-Minitron-4B-Width-Base.Q8_0.gguf
    • Make sure to point gguf-split to the first chunk of the split.

Got a suggestion? Ping me @legraphista!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
85289fb

0 моделей

    Создать бенчмарк