Квантизированная 4-битная MLX-версия Llama 3 от Groq для генерации текста, вызова функций и использования инструментов на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Llama-3-Groq-8B-Tool-Use-4bit — англоязычная текстовая генеративная модель семейства Llama 3, разработанная Groq и преобразованная сообществом mlx-community в формат MLX. Модель содержит около 7,5 млрд параметров, использует 4-битное представление и предназначена для запуска через mlx-lm на совместимом оборудовании Apple.
Модель ориентирована на английский язык и имеет нативный контекст длиной до 8192 токенов. 4-битная квантизация может снижать точность по сравнению с полноразмерной версией, а корректность вызова инструментов зависит от формата промпта и интеграции.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Llama-3-Groq-8B-Tool-Use-4bit was converted to MLX format from Groq/Llama-3-Groq-8B-Tool-Use using mlx-lm version 0.15.2.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Llama-3-Groq-8B-Tool-Use-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.