mlx-community/gemma-4-31B-it-uncensored-heretic-4bit — квантизированная 4-битная версия модели Gemma 4 с 31 млрд параметров, опубликованная сообществом mlx-community.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
В качестве базовой модели указана llmfan46/gemma-4-31B-it-uncensored-heretic; исходное семейство Gemma разработано Google, однако README не уточняет авторство модификаций uncensored/heretic.
Модель предназначена для генерации текста в диалоговом формате и, согласно pipeline_tag, для задач image-text-to-text, то есть может использовать текстовые и, вероятно, визуальные входные данные. README показывает использование через mlx-lm на Apple MLX с поддержкой chat template. Языки, размер контекстного окна и точные сведения об архитектуре в предоставленных данных не указаны.
Ключевая особенность — 4-битная квантизация, снижающая требования к памяти и подходящая для локального запуска на совместимом оборудовании, при этом возможна потеря качества по сравнению с полноразмерной версией. Названия uncensored, heretic и abliterated указывают на нестандартно модифицированную модель, но README не описывает методы модификации, поведение, ограничения безопасности или результаты оценки. Модель распространяется по лицензии Apache-2.0; для Gemma также может действовать специальная лицензия Google, ссылка на которую приведена в README.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/gemma-4-31B-it-uncensored-heretic-4bit")
prompt="hello"
if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, tokenize=False, add_generation_prompt=True
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.