/ Модель
Каталог

Характеристики

Контекст
65 536 токенов
Параметры
6,7 млрд
Лицензия
Apache 2.0
Архитектура
llama · dense
Опубликована
16 ноя 2023

Ссылки

Hugging Face

chinese-llama-2-13b-gguf

hfl
Генерация текстаТекст → текст4 профессии

Chinese-LLaMA-2-13B-GGUF — это набор моделей в формате GGUF-v3, совместимом с llama.cpp, на основе Chinese-LLaMA-2-13B.

1 119скачиваний за 30 дней5лайковвеса обновлены24 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Репозиторий опубликован организацией hfl; дополнительные сведения о проекте представлены в репозитории Chinese-LLaMA-Alpaca-2, разработанном ymcui и участниками проекта.

Модель предназначена для локального запуска и инференса в приложениях, поддерживающих llama.cpp, с выбором различных уровней квантования: от Q2_K до Q8_0, а также F16. В README не указаны точные языки, размер контекста, модальности и перечень прикладных сценариев; из названия и описания следует ориентация на обработку китайского текста.

Ключевое преимущество — наличие нескольких вариантов квантования, позволяющих выбирать компромисс между требованиями к памяти и качеством. Для некоторых вариантов доступны версии с суффиксом -im, созданные с использованием important matrix и потенциально обеспечивающие более высокое качество. В качестве ограничения следует учитывать, что качество зависит от выбранного формата и что в таблице приведены только значения PPL, без результатов прикладных тестов. Лицензия — Apache-2.0.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Chinese-LLaMA-2-13B-GGUF

This repository contains the GGUF-v3 models (llama.cpp compatible) for Chinese-LLaMA-2-13B.

Performance

Metric: PPL, lower is better

Quantoriginalimatrix (-im)
Q2_K14.4701 +/- 0.2610717.4275 +/- 0.31909
Q3_K10.1620 +/- 0.182779.7486 +/- 0.17744
Q4_09.8633 +/- 0.17792-
Q4_K9.2735 +/- 0.167939.2734 +/- 0.16792
Q5_09.3553 +/- 0.16945-
Q5_K9.1767 +/- 0.166349.1594 +/- 0.16590
Q6_K9.1326 +/- 0.165469.1478 +/- 0.16583
Q8_09.1394 +/- 0.16574-
F169.1050 +/- 0.16518-

The model with -im suffix is generated with important matrix, which has generally better performance (not always though).

Others

For Hugging Face version, please see: https://huggingface.co/hfl/chinese-llama-2-13b

Please refer to https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/ for more details.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

Модели нужен код из репозитория; запуск откроется после проверки совместимости.

Класс архитектуры
LlamaForCausalLM
Ревизия весов
a98c6a9

0 моделей

    Создать бенчмарк