/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
6,7 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Опубликована
16 ноя 2023

chinese-llama-2-7b-gguf

Генерация текстаТекст → текст7 профессий

Chinese-LLaMA-2-7B-GGUF — это набор моделей в формате GGUF-v3, совместимых с llama.cpp, на основе Chinese-LLaMA-2-7B.

958скачиваний за 30 дней5лайковвеса обновлены24 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана командой проекта Chinese-LLaMA-Alpaca-2; README также указывает исходный репозиторий hfl/chinese-llama-2-7b на Hugging Face.

Модель предназначена для задач генерации и обработки текста, прежде всего на китайском и английском языках, а формат GGUF позволяет запускать её с использованием llama.cpp. Доступны варианты квантования Q2_K, Q3_K, Q4_0, Q4_K, Q5_0, Q5_K, Q6_K и Q8_0, а также F16. Для некоторых вариантов предусмотрены версии с суффиксом -im, созданные с использованием important matrix и обычно обеспечивающие более высокую производительность. Размер модели — 7B параметров; другие характеристики, включая контекстное окно, архитектурные детали и поддерживаемые модальности, в README не указаны.

Основные преимущества — совместимость с llama.cpp, наличие нескольких уровней квантования для выбора компромисса между качеством и ресурсами, а также поддержка китайского и английского языков. Ограничения и качество зависят от выбранного варианта квантования; приведённые значения PPL показывают, что более низкие значения обычно соответствуют лучшему результату. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Chinese-LLaMA-2-7B-GGUF

This repository contains the GGUF-v3 models (llama.cpp compatible) for Chinese-LLaMA-2-7B.

Performance

Metric: PPL, lower is better

Quantoriginalimatrix (-im)
Q2_K15.1160 +/- 0.3046912.7682 +/- 0.26022
Q3_K9.9588 +/- 0.205499.8508 +/- 0.20484
Q4_09.8085 +/- 0.20350-
Q4_K9.5802 +/- 0.200159.6327 +/- 0.20219
Q5_09.4783 +/- 0.19622-
Q5_K9.5132 +/- 0.199899.4447 +/- 0.19772
Q6_K9.4640 +/- 0.199099.4507 +/- 0.19849
Q8_09.4659 +/- 0.19927-
F169.4627 +/- 0.19921-

The model with -im suffix is generated with important matrix, which has generally better performance (not always though).

Others

For Hugging Face version, please see: https://huggingface.co/hfl/chinese-llama-2-7b

Please refer to https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/ for more details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
d03f38a

0 моделей