/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,8 млрд
Размер весов
14,3 ГБ
Лицензия
AGPL 3.0
Архитектура
llama · dense
Опубликована
27 июн 2023

educhat-sft-002-7b

Генерация текстаТекст → текст3 профессии

Дообученная на BELLE модель LLaMA на 6,8 млрд параметров для генерации текста в диалоговых и образовательных сценариях.

437скачиваний за 30 дней7лайковвеса обновлены5 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

EduChat-SFT-002-7B — дообученная на BELLE модель семейства LLaMA, представленная в виде разностных весов, которые нужно объединить с исходными весами LLaMA перед использованием. Это плотная авторегрессионная модель примерно на 6,8 млрд параметров с контекстом 2048 токенов; репозиторий содержит веса PyTorch и рассчитан на запуск через Transformers.

Модель предназначена для генерации текста в диалоговых и образовательных сценариях. В карточке указано, что она обучена на BELLE, однако подробности о специализации, качестве и конкретных образовательных задачах не приведены. Метаданные указывают поддержку китайского и английского языков. Лицензия — AGPL-3.0; для восстановления полного набора весов требуются исходные веса LLaMA и преобразование разностных весов.

Сценарии применения

  • генерация ответов в образовательном чат-боте
  • создание диалоговых помощников на китайском языке
  • создание диалоговых помощников на английском языке

Ограничения

В опубликованном репозитории находятся только разностные веса: для использования нужны исходные веса LLaMA и предварительное преобразование. Контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

使用方法

本模型从BELLE训练得到,由于LLaMA对其衍生模型的限制,发布的权重只能包含差异部分,使用前请先按照以下流程转换权重。

Step1:将原始LLaMA权重转换为huggingface版本。

首先下载LLaMA原始权重,然后使用权重转换脚本转换权重。

python src/transformers/models/llama/convert_llama_weights_to_hf.py \
    --input_dir /path/to/downloaded/llama/weights --model_size 7B --output_dir /output/LLaMA_hf/7B

Step2:使用解密脚本将增量权重加到原始LLaMA权重上。

python ./decrypt.py --base /path/to/LLAMA_hf/7B --target ./educhat-sft-002-7b-decrypt --delta /path/to/educhat-sft-002-7b 

使用示例

转换权重后,使用示例请参考:https://github.com/icalk-nlp/EduChat#%E4%BD%BF%E7%94%A8%E7%A4%BA%E4%BE%8B

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
be88ea7

0 моделей