/ Модель

Характеристики

Контекст
524 288 токенов
Параметры
8 млрд
Размер весов
5,1 ГБ
Лицензия
Apache 2.0
Архитектура
k2_horizon · dense
Базовая модель
K2-Horizon-7B
Библиотека
mlx
Опубликована
3 сен 2026

K2-Horizon-7B-MLX-4bit

Генерация текстаТекст → текст15 профессий

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX.

2 226скачиваний за 30 дней4лайкавеса обновлены3 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM.

Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский.

Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm.

Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🤗 Model Requests

K2-Horizon-7B MLX — 4-bit

MLX 4-bit conversion of IFM/K2-Horizon-7B, a 7B dense decoder-only model for reasoning, coding, long-context work, and tool use. The source checkpoint supports a native context length of 524,288 tokens (512K).

Benchmarks

IFM/K2-Horizon-7B benchmark results

Benchmark results reported by IFM for the original IFM/K2-Horizon-7B checkpoint.

Release

FormatQuantizationSize
MLX safetensorsAffine 4-bit, group size 645.06 GB

The included model.py loader preserves K2-Horizon's grouped RMSNorm. Use it with MLX-LM and --trust-remote-code. The model is text-only; no vision projector or MTP files are included.

Usage

pip install -U mlx-lm
mlx_lm.generate \
  --model abenzerps/K2-Horizon-7B-MLX-4bit \
  --trust-remote-code \
  --prompt "Explain why reproducible builds matter." \
  --max-tokens 256

Source

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
K2HorizonForCausalLM
Ревизия весов
8713028

0 моделей