Конвертированная в формат MLX диалоговая модель Gemma 2B IT для генерации текста и ответов на запросы.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель Paramstr/MLX_google_gemma-2b-it_testing — конверсия Gemma 2B IT от Google в формат MLX, выполненная с помощью mlx-lm версии 0.14.2. Это плотная авторегрессионная языковая модель с 2,5 млрд параметров, предназначенная для генерации текста и диалогового общения. Контекстное окно составляет 8192 токена; в метаданных указана библиотека Transformers, а файлы репозитория представлены в формате safetensors.
Модель можно применять для ответов на вопросы, ведения диалога и генерации текста. Она рассчитана на запуск в среде MLX; README не приводит сведений о поддерживаемых языках или дополнительных возможностях. Условия использования определяются лицензией Gemma.
README не сообщает о специальных ограничениях качества или области применения; поддерживаемые языки не перечислены. Для использования в формате MLX требуется совместимая среда.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model Paramstr/MLX_google_gemma-2b-it_testing was converted to MLX format from google/gemma-2b-it using mlx-lm version 0.14.2.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("Paramstr/MLX_google_gemma-2b-it_testing")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.