/ Модель

Характеристики

Базовая модель
Llama-3-8B-Instruct-Gradient-4194k
Опубликована
30 окт 2024

gradientai-Llama-3-8B-Instruct-Gradient-4194k-GGUF

Генерация текстаТекст → текст15 профессий

Это набор GGUF-квантизаций модели gradientai/Llama-3-8B-Instruct-Gradient-4194k, подготовленный и опубликованный командой featherless-ai-quants.

1 106скачиваний за 30 дней0лайковвеса обновлены30 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Базовая модель относится к семейству Llama 3 с размером 8 млрд параметров и предназначена для генерации текста, включая работу в инструкционном режиме. README не уточняет разработчика базовой модели, архитектурные детали, языки и поддерживаемые модальности.

Модель рассчитана на сценарии локального или совместимого с GGUF запуска, где требуется выбрать баланс между качеством, скоростью и потреблением памяти. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер варьируется примерно от 3,0 до 8,1 ГБ. README указывает контекст 4194k в идентификаторе базовой модели, однако не подтверждает фактическую длину контекста.

Сильной стороной набора является широкий выбор уровней квантизации и формат GGUF, позволяющий адаптировать модель под различные аппаратные ограничения. Более компактные варианты требуют меньше памяти, но потенциально уступают старшим вариантам по качеству; конкретные результаты производительности и качества в README не приведены. Лицензия и условия использования не указаны, поэтому их необходимо проверять в документации базовой модели и репозитории.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gradientai/Llama-3-8B-Instruct-Gradient-4194k GGUF Quantizations 🚀

Featherless AI Quants

Optimized GGUF quantization files for enhanced model performance


Available Quantizations 📊

Quantization TypeFileSize
Q8_0gradientai-Llama-3-8B-Instruct-Gradient-4194k-Q8_0.gguf8145.11 MB
Q4_K_Sgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q4_K_S.gguf4475.28 MB
Q2_Kgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q2_K.gguf3031.86 MB
Q6_Kgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q6_K.gguf6290.44 MB
Q3_K_Mgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q3_K_M.gguf3832.74 MB
Q3_K_Sgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q3_K_S.gguf3494.74 MB
Q3_K_Lgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q3_K_L.gguf4121.74 MB
Q4_K_Mgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q4_K_M.gguf4692.78 MB
Q5_K_Sgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q5_K_S.gguf5339.90 MB
Q5_K_Mgradientai-Llama-3-8B-Instruct-Gradient-4194k-Q5_K_M.gguf5467.40 MB
IQ4_XSgradientai-Llama-3-8B-Instruct-Gradient-4194k-IQ4_XS.gguf4276.62 MB

⚡ Powered by Featherless AI

Key Features

  • 🔥 Instant Hosting - Deploy any Llama model on HuggingFace instantly
  • 🛠️ Zero Infrastructure - No server setup or maintenance required
  • 📚 Vast Compatibility - Support for 2400+ models and counting
  • 💎 Affordable Pricing - Starting at just $10/month

Links:
Get Started | Documentation | Models

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
940914d

0 моделей