Компактная диалоговая модель семейства Llama для генерации текста с контекстом до 131 072 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
psx7/llama4B — текстовая модель семейства Llama, представленная в формате MLX; README указывает, что её преобразовали из rasyosef/Llama-3.1-Minitron-4B-Chat с помощью mlx-lm 0.18.1. По метаданным, модель содержит 3,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Каталог связывает её с базовой моделью nvidia/Llama-3.1-Minitron-4B-Width-Base и датасетом OpenHermes-2.5; модель предназначена для генерации текста и диалогового использования.
Репозиторий содержит веса в GGUF и safetensors, а README описывает использование через mlx-lm. Указана лицензия «other», поэтому точные условия использования следует проверять в файлах лицензии репозитория.
Указана лицензия «other», поэтому условия использования нужно уточнить по файлам репозитория. Поддерживаемые языки в предоставленных данных не перечислены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model psx7/llama4B was converted to MLX format from rasyosef/Llama-3.1-Minitron-4B-Chat using mlx-lm version 0.18.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("psx7/llama4B")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.