4-битная MLX-конверсия StableLM 2 Zephyr 1.6B для локальной генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это 4-битная конверсия модели StableLM 2 Zephyr 1.6B в формат MLX, опубликованная сообществом mlx-community. Модель основана на плотной архитектуре StableLM для авторегрессионной генерации текста и рассчитана на диалоговое использование. Число параметров — около 1,4 млрд, контекст — до 4096 токенов; в метаданных указан английский язык.
Модель подходит для генерации ответов в чате, следования инструкциям и решения текстовых задач общего назначения. Она создана на основе stabilityai/stablelm-2-zephyr-1_6b и предназначена для запуска с библиотекой mlx-lm в экосистеме MLX. Репозиторий указывает лицензию other, поэтому условия использования следует сверять с лицензией исходной модели и файлами репозитория.
Контекст ограничен 4096 токенами; малый размер модели может ограничивать качество сложных рассуждений и фактическую точность. Для запуска заявлена библиотека mlx-lm, а лицензия указана как other.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from stabilityai/stablelm-2-zephyr-1_6b.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/stablelm-2-zephyr-1_6b-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.