Преобразованная для MLX англоязычная StableLM на 2,7 млрд параметров для генерации текста и помощи с кодом в диалоговом режиме.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/stable-code-instruct-3b-4bit — преобразованная сообществом mlx-community версия модели stabilityai/stable-code-instruct-3b, подготовленная для запуска с MLX. Это плотная авторегрессионная модель StableLM с 2,7 млрд параметров, предназначенная для генерации текста и помощи с кодом в диалоговом режиме. Она принимает текст и выдаёт текст; максимальная длина контекста составляет 16 384 токена, основной язык карточки — английский.
README указывает на преобразование с помощью mlx-lm версии 0.4.0; метаданные обозначают файлы как safetensors и не подтверждают тип квантизации, несмотря на суффикс 4bit в названии. Лицензия указана как other; подробности лицензии и ограничения качества следует сверять с карточкой исходной модели.
Карточка этой конвертации не приводит оценок качества и не описывает ограничения; для деталей следует обратиться к карточке исходной модели. Указанная лицензия — other, поэтому условия использования нужно проверить в исходной карточке.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from stabilityai/stable-code-instruct-3b using mlx-lm version 0.4.0.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/stable-code-instruct-3b-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.