Компактная англоязычная модель для диалогов и генерации текста по инструкциям, преобразованная в формат MLX для локального запуска.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/SmolLM-360M-Instruct — версия модели HuggingFaceTB/SmolLM-360M-Instruct, преобразованная сообществом mlx-community в формат MLX с помощью mlx-lm 0.17.0. Это компактная авторегрессионная модель семейства Llama с 361,8 млн параметров, настроенная для генерации текста и диалогов по инструкциям. Она принимает текст и выдаёт текст; в карточке указано окно контекста 2048 токенов и поддержка английского языка.
Модель подходит для простых диалогов, ответов на инструкции, продолжения текста и генерации коротких примеров кода. Компактный размер удобен для локального запуска на устройствах Apple через MLX. Базовая модель разработана HuggingFaceTB; веса исходной instruct-модели преобразованы в формат MLX. Лицензия — Apache-2.0.
Окно контекста ограничено 2048 токенами; модель компактная, поэтому её возможности в сложных рассуждениях и генерации кода ограничены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/SmolLM-360M-Instruct was converted to MLX format from HuggingFaceTB/SmolLM-360M-Instruct using mlx-lm version 0.17.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/SmolLM-360M-Instruct")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.