/ Модель

Характеристики

Контекст
8 192 токена
Параметры
2,5 млрд
Лицензия
Apache 2.0
Архитектура
gemma · dense
Библиотека
transformers
Опубликована
9 апр 2024

codegemma-2b-bnb-4bit

Генерация текстаТекст → текст6 профессий

unsloth/codegemma-2b-bnb-4bit — 4-битная версия модели CodeGemma с примерно 2 млрд параметров, опубликованная в экосистеме Unsloth для использования с библиотекой Transformers.

284скачиваний за 30 дней1лайквеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

В README также упоминается поддержка Unsloth для дообучения моделей Gemma, однако конкретные сведения о разработчике исходной модели CodeGemma в предоставленных данных отсутствуют.

Модель предназначена прежде всего для задач, связанных с программным кодом, включая генерацию и продолжение текста кода, а также эксперименты с дообучением. Указан английский язык. Архитектура и размер контекста в README не описаны; по идентификатору модели можно определить только вариант с 2 млрд параметров и 4-битным квантованием BNB.

Ключевое преимущество версии — сниженные требования к памяти по сравнению с полноразмерными вариантами, что может упростить локальный запуск и дообучение. Ограничения связаны с малым размером модели, возможным снижением качества по сравнению с более крупными версиями и отсутствием в предоставленных данных подробных результатов оценки. Лицензия указана как Apache-2.0.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

We have a Google Colab Tesla T4 notebook for CodeGemma 7b here: https://colab.research.google.com/drive/19lwcRk_ZQ_ZtX-qzFP3qZBBHZNcMD1hh?usp=sharing

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
GemmaForCausalLM
Ревизия весов
67c75c5

0 моделей