/ Модель

Характеристики

Контекст
16 384 токена
Параметры
6,6 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Библиотека
transformers
Опубликована
31 янв 2024

codellama-7b-bnb-4bit

Генерация текстаТекст → текст7 профессий

unsloth/codellama-7b-bnb-4bit — это 4-битная версия модели CodeLlama 7B, опубликованная командой Unsloth и предназначенная для использования с библиотекой Transformers.

872скачиваний за 30 дней9лайковвеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

По доступным данным, модель рассчитана прежде всего на эксперименты и дообучение: README описывает применение Unsloth для ускоренного fine-tuning моделей семейства CodeLlama, а также экспорт дообученных моделей в форматы GGUF и vLLM или загрузку на Hugging Face.

Модель имеет около 7 миллиардов параметров и использует 4-битное квантование BNB, что снижает требования к памяти и делает её более подходящей для запуска и дообучения на ограниченных GPU-ресурсах. Указан английский язык, однако сведения о поддерживаемых модальностях, максимальной длине контекста и точной архитектуре в README отсутствуют. Основной сценарий — работа с задачами генерации и обработки кода на базе CodeLlama, включая дообучение на собственных наборах данных.

К сильным сторонам относятся компактное 4-битное представление и совместимость с экосистемой Transformers и инструментами Unsloth для ускоренного fine-tuning. Конкретные показатели качества, ограничения модели, требования к аппаратному обеспечению и результаты тестирования не приведены. Лицензия — Apache-2.0.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Finetune Mistral, Gemma, Llama 2-5x faster with 70% less memory via Unsloth!

✨ Finetune for Free

All notebooks are beginner friendly! Add your dataset, click "Run All", and you'll get a 2x faster finetuned model which can be exported to GGUF, vLLM or uploaded to Hugging Face.

Unsloth supportsFree NotebooksPerformanceMemory use
Gemma 7b▶️ Start on Colab2.4x faster58% less
Mistral 7b▶️ Start on Colab2.2x faster62% less
Llama-2 7b▶️ Start on Colab2.2x faster43% less
TinyLlama▶️ Start on Colab3.9x faster74% less
CodeLlama 34b A100▶️ Start on Colab1.9x faster27% less
Mistral 7b 1xT4▶️ Start on Kaggle5x faster*62% less
DPO - Zephyr▶️ Start on Colab1.9x faster19% less

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
ee00fa4

0 моделей