/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
12,9 млрд
Размер весов
26,5 ГБ
Лицензия
Apache 2.0
Архитектура
baichuan · dense
Опубликована
8 сен 2023

blossom-v2-baichuan-13b

Генерация текстаТекст → текст8 профессий

Диалоговая модель на основе Baichuan-13B для выполнения инструкций, ответов на вопросы и математических диалогов на китайском и английском языках.

28скачиваний за 30 дней1лайквеса обновлены20 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BLOSSOM-v2-baichuan-13b — диалоговая языковая модель, разработанная на основе Baichuan-13B и дообученная методом instruction tuning на смешанных наборах Blossom, Wizard и Dolphin. Обучение проходило в два этапа: сначала на одноходовых инструкциях Wizard и Dolphin, затем на многоходовых диалогах Blossom Chat и примерах по математике Blossom Math.

Модель предназначена для генерации ответов в диалоге, выполнения инструкций и решения математических вопросов. Это плотная авторегрессионная архитектура Baichuan с 12,9 млрд параметров; метаданные указывают поддержку китайского и английского языков. README задаёт формат продолжения диалога с ролями Human и Bot, а для многоходового общения требует завершать ответы Bot токеном </s>. Репозиторий содержит веса PyTorch.

Модель распространяется по лицензии Apache-2.0. В карточке не приведены результаты оценки качества и длина контекста, поэтому пригодность для конкретных сценариев следует проверять отдельно.

Сценарии применения

  • ответы на вопросы в диалоговом интерфейсе
  • выполнение инструкций на китайском языке
  • выполнение инструкций на английском языке
  • решение математических вопросов в чате
  • ведение многоходового диалога

Ограничения

В карточке не указаны длина контекста и результаты оценки качества; многоходовой формат требует добавлять токен </s> в конец ответа Bot.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BLOSSOM-v2-baichuan-13b

💻Github • 🚀Blossom Chat Demo

介绍

Blossom是一个对话式语言模型,基于Baichuan-13b预训练模型,在Blossom、Wizard、Dolphin混合数据集上进行指令精调得来。

训练分为两阶段,第一阶段使用120K Wizard、180K Dolphin单轮指令数据集,训练1个epoch;第二阶段使用60K Blossom chat、2K Blossom math多轮对话数据集,训练3个epoch。

推理

推理采用对话续写的形式。

单轮对话

A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
|Human|: 你好
|Bot|: 

多轮对话

A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
|Human|: 你好
|Bot|: 你好,有什么我能帮助你的?</s>
|Human|: 介绍下中国的首都吧
|Bot|: 

注意:在历史对话的Bot输出结尾,拼接一个</s>

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
BaichuanForCausalLM
Ревизия весов
a30fad3

0 моделей