4-битная MLX-версия инструкционной Gemma 2 на 27,6 млрд параметров для локальной генерации текста и диалогов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/gemma-2-27b-it-4bit — 4-битная квантованная версия модели Gemma 2 27B, преобразованная сообществом mlx-community из google/gemma-2-27b-it в формат MLX с помощью mlx-lm 0.15.0. Исходную модель разработала Google. Модель предназначена для генерации текста и диалогового взаимодействия с инструкциями.
Модель содержит 27,6 млрд параметров и поддерживает контекст длиной до 8192 токенов. Она рассчитана на работу в экосистеме MLX и может использоваться через библиотеку mlx-lm; в метаданных также указана совместимость с Transformers. Ключевое преимущество — 4-битное представление, уменьшающее требования к памяти по сравнению с полноразмерной моделью.
Модель подходит для ответов на вопросы, диалогов, написания и преобразования текста, а также локального запуска генеративной модели на совместимом оборудовании Apple. Ограничения включают возможные ошибки, галлюцинации и зависимость качества от формулировки запроса; README не содержит подробных результатов оценки. Использование регулируется лицензией Gemma, для доступа на Hugging Face требуется принять условия лицензии Google.
Модель может допускать фактические ошибки и генерировать недостоверные ответы; подробные результаты оценки в README не приведены. Использование регулируется лицензией Gemma, требующей принятия условий Google.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/gemma-2-27b-it-4bit was converted to MLX format from google/gemma-2-27b-it using mlx-lm version 0.15.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/gemma-2-27b-it-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.