Преобразованная в MLX версия Llama 3 8B Instruct для диалоговой генерации текста с контекстом до 262 144 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это преобразованная в формат MLX версия языковой модели Llama 3 8B Instruct с контекстом до 262 144 токенов. Репозиторий подготовлен сообществом mlx-community на основе gradientai/Llama-3-8B-Instruct-262k с помощью mlx-lm 0.12.0; модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она предназначена для диалоговой генерации текста и работы с длинными текстовыми контекстами.
Метаданные указывают английский язык и поддержку чата. Репозиторий содержит веса safetensors в формате MLX; лицензия в доступных данных не приведена.
Описание README отсылает к карточке исходной модели, поэтому подробные сведения о качестве, поведении и ограничениях здесь отсутствуют. В предоставленных данных лицензия не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from gradientai/Llama-3-8B-Instruct-262k using mlx-lm version 0.12.0.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Llama-3-8B-Instruct-262k-unquantized")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.