Преобразованная для MLX модель Gemma 2B Instruct генерирует текст и ведёт диалоги по текстовым запросам.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/quantized-gemma-2b-it — преобразованная для MLX модель Gemma 2B Instruct от mlx-community на основе google/gemma-2b-it. Это плотная авторегрессионная языковая модель с архитектурой GemmaForCausalLM, предназначенная для генерации текста и диалоговых сценариев; размер составляет 2,5 млрд параметров, контекст — до 8192 токенов.
Модель принимает текстовые запросы и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors и предназначен для запуска с mlx-lm на поддерживаемых системах Apple. Лицензия указана как other; перед использованием следует свериться с условиями оригинальной карточки Gemma. Подробности о языковой поддержке и специальных ограничениях в предоставленных данных отсутствуют.
Контекст ограничен 8192 токенами. Данные не подтверждают поддержку конкретных языков; условия лицензии следует уточнять по оригинальной карточке Gemma.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from google/gemma-2b-it.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/quantized-gemma-2b-it")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.