/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
5,8 млрд
Размер весов
12,1 ГБ
Лицензия
CC BY-NC 4.0
Архитектура
llama · dense
Базовая модель
Yi-6B
Опубликована
8 фев 2024

Yi-6B-yoruno

Генерация текстаТекст → текст3 профессии

Разговорная модель на базе Yi-6B, дообученная для генерации китайских диалогов и текста в стиле серии Yoruno.

23скачиваний за 30 дней5лайковвеса обновлены8 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nenekochan/Yi-6B-yoruno — это разговорная языковая модель на 5,8 млрд параметров, созданная автором репозитория на основе Yi-6B от 01.AI. Модель дообучена методом QLoRA с использованием Firefly на китайских диалогах из датасета yoruno-vn, составленных по материалам первых четырёх произведений серии с удалёнными длинными описаниями.

Модель предназначена для генерации диалогов и текста в стиле исходных произведений, а также для продолжения многоходовых бесед на китайском языке. Контекст модели составляет 4096 токенов. Автор отмечает, что вариант на Yi-6B лучше воспроизводит исходный стиль, чем ранний вариант на ChatGLM3-6B-Base, но уступает ему в творческой свободе. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Сценарии применения

  • генерация диалогов на китайском языке в стиле Yoruno
  • продолжение многоходовых бесед по мотивам серии
  • создание стилизованных художественных текстов на китайском языке

Ограничения

Контекст ограничен 4096 токенами. По оценке автора, модель несколько уступает варианту на ChatGLM3-6B-Base в творческой свободе; лицензия запрещает коммерческое использование.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

训练细节

  • Firefly QLoRA
  • 基座:Yi-6B
  • 数据:341千中文字符(103 个对话串),来自前四作中去掉了长篇描写后的内容
  • 时长:60 steps, ~9.2 epochs

技术决策

  • 少量的数据:LIMA: Less Is More for Alignment 的宗旨在于,模型的生成内容的质量几乎完全由基座模型的预训练决定,微调训练只会影响生成内容的风格,而且只需要极少量但高质量的训练数据就可以达到效果。
  • Yi-6B 为基座:在微调训练的早期测试阶段,我曾以 ChatGLM3-6B-Base 作为基座模型。后来决定使用 Yi-6B 主要是因为它的 Llama2 架构在现今依旧是主流实现,部署选择要多得多(特别是 GGUF 生态)。最终成品比较时,基于 Yi-6B 的比基于 ChatGLM3-6B-Base 对文风的还原度要高一些,不过在创造力上略逊一筹。
  • Firefly 微调框架:他们的训练方法是为多轮对话设计的,而超长上下文正是我的训练目标。yoruno-vn 数据集的对话串平均长度是现今大多问答数据集的数倍。对于未来的写作模型,我会认真研究如何制作有真正有效 32k 上下文的模型。

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
df179df

0 моделей