SmolLM-135M-Instruct-4bit — компактная инструкционная языковая модель, разработанная HuggingFaceTB и преобразованная сообществом mlx-community в формат MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для запуска и генерации текста с использованием библиотеки mlx-lm, в том числе на совместимом оборудовании Apple. Исходная модель доступна в экосистеме Hugging Face.
Модель содержит 135 миллионов параметров и использует 4-битное квантование, что уменьшает требования к памяти и делает её подходящей для локального запуска и ресурсоограниченных сценариев. В README указана поддержка английского языка. Архитектура, максимальная длина контекста и поддерживаемые модальности не уточняются; по назначению это текстовая instruction-following модель.
К сильным сторонам относятся небольшой размер, экономичность и готовность к использованию в MLX через mlx-lm. Ограничениями являются существенно меньшая ёмкость по сравнению с крупными языковыми моделями, возможное снижение качества из-за 4-битного квантования и отсутствие данных о точности, производительности и контекстном окне. Модель распространяется по лицензии Apache 2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/SmolLM-135M-Instruct-4bit was converted to MLX format from HuggingFaceTB/SmolLM-135M-Instruct using mlx-lm version 0.15.2.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/SmolLM-135M-Instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.