Характеристики

Контекст: 2 048 токенов
Параметры: 12,9 млрд
Размер весов: 26 ГБ
Архитектура: llama · dense
Опубликована: 28 июн 2023

Ссылки

longchat-13b-16k

Генерация текстаТекст → текст5 профессий

Дообученная на диалогах ShareGPT чат-модель на базе Llama-13B для генерации ответов и экспериментов с языковыми моделями.

2 522скачиваний за 30 дней134лайкавеса обновлены29 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LongChat-13B-16K — чат-модель, разработанная командой LongChat и дообученная на базе Llama-13B на пользовательских диалогах с ShareGPT. Модель предназначена для генерации ответов в диалоге и исследовательских экспериментов с языковыми моделями.

В карточке заявлена техника condensing rotary embedding и название версии указывает на контекст до 16 тысяч токенов, однако метаданные указывают native context в 2048 токенов. Для загрузки разработчики рекомендуют FastChat или LongChat; требуется monkey patch. Модель имеет около 12,9 млрд параметров, использует архитектуру Llama и формат PyTorch. Обучающая выборка включает 18 тысяч диалогов ShareGPT.

Лицензия в предоставленных данных не указана. Качество предварительно оценивалось на LongEval; README описывает назначение как исследовательское и не приводит подробных ограничений по качеству или безопасности.

Сценарии применения

ведение диалога с пользователем
генерация ответов в чате
эксперименты с длинным контекстом
исследовательская оценка языковых моделей

Ограничения

Метаданные указывают контекст 2048 токенов, хотя название модели и README связывают её с контекстом до 16 тысяч токенов; это расхождение следует учитывать. Для загрузки требуется FastChat или LongChat с monkey patch; лицензия и подробные ограничения качества в предоставленных данных не описаны.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

I.7Речь, диалоги и встречи

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

longchat-13b-16k Model Card

Usage

Please use load_model from FastChat or LongChat repo to load the model (or chatting API from FastChat). There is a monkey patch needed to use the model. Usage referece:

(LongChat) python3 eval.py --model-name-or-path lmsys/longchat-13b-16k --task topics

(FastChat) python3 -m fastchat.serve.cli --model-path lmsys/longchat-13b-16k

Under the hood, the monkey patch is added in:

https://github.com/lm-sys/FastChat/blob/da0641e567cf93756b0978ab5a6b092e96f06240/fastchat/model/model_adapter.py#L429

Model details

Model type: longchat-13b-16k is an open-source chatbot trained by fine-tuning llama-13b on user-shared conversations collected from ShareGPT, using the condensing rotary embedding technique reported in the blog.

Model date: longchat-13b-16k was trained on June 2023.

Organizations developing the model: The LongChat developers: Dacheng Li*, Rulin Shao*, Anze Xie, Ying Sheng, Lianmin Zheng, Ion Stoica, Xuezhe Ma, and Hao Zhang

Paper or resources for more information: https://github.com/DachengLi1/LongChat

Where to send questions or comments about the model: https://github.com/DachengLi1/LongChat

Intended use

Primary intended uses: The primary use of longchat-13b-16k is for research purposes.

Primary intended users: The primary intended users of the model are researchers in natural language processing, machine learning, and artificial intelligence.

Training dataset

18K conversations collected from ShareGPT.com.

Evaluation dataset

A preliminary evaluation of the model quality is conducted by our released LongEval.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 70e2e38