Codestral-22B-v0.1-4bit — это 4-битная версия модели Codestral-22B-v0.1, преобразованная сообществом mlx-community в формат MLX из bullerwins/Codestral-22B-v0.1-hf с использованием mlx-lm 0.14.0.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
README не указывает исходного разработчика модели; по названию и тегам она ориентирована на работу с программным кодом.
Модель предназначена для задач генерации и обработки кода в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Известные характеристики — размер 22 млрд параметров, 4-битное квантование и формат MLX. В README указано только назначение для кода; сведения об архитектуре, поддерживаемых естественных языках, контекстном окне и мультимодальности отсутствуют.
К сильным сторонам относятся адаптация для MLX и уменьшенная разрядность, что может снизить требования к памяти при локальном запуске. Ограничения, включая возможные потери качества из-за 4-битного квантования, производительность и совместимость с конкретным оборудованием, в README не описаны. Модель распространяется по лицензии MNPL-0.1; подробные условия доступны по ссылке, указанной в карточке.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Codestral-22B-v0.1-4bit was converted to MLX format from bullerwins/Codestral-22B-v0.1-hf using mlx-lm version 0.14.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Codestral-22B-v0.1-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.