mlx-community/Kimi-K2.7-Code-4bit — модель генерации текста в формате MLX, опубликованная сообществом mlx-community.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
README указывает, что модель предназначена для запуска с библиотекой mlx-lm и поддерживает стандартный сценарий диалоговой генерации с использованием шаблона чата, если он задан в токенизаторе.
Из доступных данных известно, что модель представлена в 4-битном варианте квантования, что может снизить требования к памяти при локальном запуске в экосистеме MLX. Точные сведения об архитектуре, числе параметров, размере контекста, поддерживаемых языках и модальностях в README не указаны. По названию можно предположить ориентацию на задачи, связанные с кодом, однако это не подтверждено приведённым описанием.
Лицензия и условия использования в README не указаны. Поэтому нельзя надёжно оценить специализированные возможности, ограничения качества или допустимые сценарии коммерческого применения.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Kimi-K2.7-Code-4bit")
prompt = "hello"
if tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, return_dict=False,
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.