Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
yuanzhoulvpi/chinese_bloom_7b_chat_v2 — диалоговая модель, созданная дообучением BLOOM-7B методом supervised fine-tuning на 1,5 млн китайских инструкций. Она предназначена для генерации ответов на китайском языке по пользовательским запросам и для создания диалоговых приложений. Модель использует плотную авторегрессионную архитектуру BLOOM с 9,1 млрд параметров; в репозитории доступны веса PyTorch и Safetensors.
Автор сообщает, что версия V2 показала улучшение по сравнению с V1, обученной на меньшем наборе инструкций. В README также отмечено, что качество проверялось автором, но результаты тестов и подробные оценки не приведены. Модель распространяется по лицензии BigScience BLOOM RAIL 1.0; следует учитывать её условия использования.
Сценарии применения
ответы на запросы и инструкции на китайском языке
ведение диалогов на китайском языке
создание китайскоязычного чат-бота
Ограничения
Автор сообщает об улучшении относительно V1, но не приводит количественных оценок качества или подробностей тестирования. В README описано обучение на китайских инструкциях; возможности для других языков не подтверждены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "yuanzhoulvpi/chinese_bloom_7b_chat_v2"#"bigscience/bloomz-3b" #"bigscience/bloom-7b1"# "output_dir/checkpoint-8260"#
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint).half().cuda()
PROMPT_DICT = {
"prompt_input": (
"Below is an instruction that describes a task, paired with an input that provides further context. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:"
),
"prompt_no_input": (
"Below is an instruction that describes a task. "
"Write a response that appropriately completes the request.\n\n"
"### Instruction:\n{instruction}\n\n### Response:"
),
}
from typing import Optional
def generate_input(instruction:Optional[str]= None, input_str:Optional[str] = None) -> str:
if input_str is None:
return PROMPT_DICT['prompt_no_input'].format_map({'instruction':instruction})
else:
return PROMPT_DICT['prompt_input'].format_map({'instruction':instruction, 'input':input_str})
for i in range(5):
print("*"*80)
inputs = tokenizer.encode(generate_input(instruction="你是谁"), return_tensors="pt")
outputs = model.generate(inputs,num_beams=3,
max_new_tokens=512,
do_sample=False,
top_k=10,
penalty_alpha=0.6,
temperature=0.8,
repetition_penalty=1.2)
print(tokenizer.decode(outputs[0]))
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров