Характеристики

Контекст: 8 192 токена
Параметры: 2,5 млрд
Лицензия: Gemma
Архитектура: gemma · dense
Библиотека: transformers
Опубликована: 14 апр 2024

Ссылки

gemma-2b-it-Q4_K_M-GGUF

Генерация текстаТекст → текст9 профессий

codegood/gemma-2b-it-Q4_K_M-GGUF — это конвертированная в формат GGUF версия инструкционной модели google/gemma-2b-it, разработанной Google.

1 038скачиваний за 30 дней6лайковвеса обновлены15 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий подготовлен с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для диалоговых и текстовых сценариев, включая ответы на вопросы и локальный запуск через llama.cpp в командной строке или в режиме сервера.

Модель имеет размер 2B параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может снижать точность по сравнению с неквантизированной версией. В README приведён пример контекста 2048 токенов для сервера; другие характеристики, включая поддерживаемые языки, максимальный контекст и результаты оценки, не указаны. Ключевое преимущество — возможность относительно компактного локального развертывания в экосистеме llama.cpp. Ограничения связаны с небольшим размером модели и потерями от квантизации. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в оригинальной карточке модели.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

codegood/gemma-2b-it-Q4_K_M-GGUF

This model was converted to GGUF format from google/gemma-2b-it using llama.cpp via the ggml.ai's GGUF-my-repo space. Refer to the original model card for more details on the model.

Use with llama.cpp

Install llama.cpp through brew.

brew install ggerganov/ggerganov/llama.cpp

Invoke the llama.cpp server or the CLI.

CLI:

llama-cli --hf-repo codegood/gemma-2b-it-Q4_K_M-GGUF --model gemma-2b-it.Q4_K_M.gguf -p "The meaning to life and the universe is"

Server:

llama-server --hf-repo codegood/gemma-2b-it-Q4_K_M-GGUF --model gemma-2b-it.Q4_K_M.gguf -c 2048

Note: You can also use this checkpoint directly through the usage steps listed in the Llama.cpp repo as well.

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m gemma-2b-it.Q4_K_M.gguf -n 128

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры: GemmaForCausalLM
Ревизия весов: 2ed4f3d