Конвертированная версия Meta Llama 3 8B Instruct для генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
jueduardo/Meta-Llama-3-8B-livro-llm — конвертированная в формат MLX модель семейства Llama 3, созданная на основе meta-llama/Meta-Llama-3-8B-Instruct. Репозиторий содержит веса в форматах GGUF F16, GGUF Q4_0 и safetensors; архитектура — плотная авторегрессионная LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов.
Модель предназначена для генерации текста и диалогового использования. README указывает конвертацию из базовой instruct-модели с помощью mlx-lm версии 0.15.2; доступные форматы позволяют запускать её в подходящих средах. В карточке указан английский язык. Лицензия — Llama 3 License (llama3).
Контекст ограничен 8192 токенами; качество и скорость зависят от выбранного формата и среды запуска. Лицензия Llama 3 может устанавливать дополнительные условия использования.
README от автора на Hugging Face, как он его опубликовал
The Model jueduardo/Meta-Llama-3-8B-livro-llm was converted to MLX format from meta-llama/Meta-Llama-3-8B-Instruct using mlx-lm version 0.15.2.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("jueduardo/Meta-Llama-3-8B-livro-llm")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.