/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
9,9 млрд
Размер весов
31,1 ГБ
Архитектура
RefinedWebModel · dense
Опубликована
5 июн 2023

chinese_falcon_7b_chat

Генерация текстаТекст → текст3 профессии

Китайская чат-модель на базе Falcon-7B, дообученная методом SFT для генерации текста и диалоговых ответов.

150скачиваний за 30 дней2лайкавеса обновлены15 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

yuanzhoulvpi/chinese_falcon_7b_chat — китайская чат-модель, созданная автором репозитория путём SFT дообучения Falcon-7B на нескольких десятках тысяч примеров. Она предназначена для генерации текста и диалоговых ответов на китайском языке. Модель построена на плотной архитектуре RefinedWebModel с причинным языковым моделированием; в репозитории указано около 9,9 млрд параметров, веса доступны в форматах PyTorch и safetensors.

В README автор отмечает, что качество модели посредственное и уступает Bloom-7B; также приводится отзыв о сравнении с Bloom-1B. Лицензия в предоставленных данных не указана.

Сценарии применения

  • генерация ответов в диалоге на китайском языке
  • создание черновиков китайского текста
  • ответы на простые вопросы на китайском языке

Ограничения

Автор характеризует качество как посредственное и сообщает, что модель уступает Bloom-7B; в README также приводится отзыв о более слабом результате по сравнению с Bloom-1B.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

介绍

  1. 使用了大概几万条的数据,对falcon-7b模型做了sft,这里分享出我的模型权重
  2. falcon-7b是支持中文语言的。

效果

  1. 效果其实一般,没有bloom-7b效果好。有人甚至反映,连bloom-1b都干不过。
  2. 这里分享我的bloom-7b-v2模型权重https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2

说个冷知识

  1. falcon-7b模型,在结构上是和bloom差不多的,但是添加了RotaryEmbedding、memorry_efficient_attention。
  2. 因此如果想要对falcon-7b做sft的话,可以看我之前训练bloom的代码https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
RWForCausalLM
Ревизия весов
90bb1e6

0 моделей