Характеристики

Контекст: 32 768 токенов
Параметры: 7,2 млрд
Размер весов: 15 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Базовая модель: Breeze-7B-Instruct-v1_0
Опубликована: 16 сен 2024

Ссылки

Breeze-7B-PTT-Chat-v2

Генерация текстаТекст → текст3 профессии

Чат-модель на базе Breeze-7B-Instruct, дообученная на сообщениях из раздела Gossiping форума PTT для диалогов в характерном стиле этого сообщества.

26скачиваний за 30 дней0лайковвеса обновлены16 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Riyuechang/Breeze-7B-PTT-Chat-v2 — чат-модель, дообученная автором на базе MediaTek-Research/Breeze-7B-Instruct-v1_0. Она обучалась на отфильтрованных сообщениях из раздела Gossiping тайваньского форума PTT, чтобы лучше работать с характерными для него обсуждениями и стилем общения. Для дообучения использовался LoRA с рангом 32; модель построена на архитектуре Mistral и содержит 7,2 млрд параметров.

Она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка приводит значение loss 0,9391, но не описывает сравнительную оценку качества; результаты могут зависеть от шумов и специфического стиля обучающих данных.

Сценарии применения

ответы на вопросы о характерных обсуждениях форума PTT
ведение диалогов в стиле раздела Gossiping
генерация продолжений сообщений в стиле PTT

Ограничения

Обучение на сообщениях из раздела Gossiping может ограничивать качество за пределами тематики и стиля форума. В README не приведены независимые оценки качества; указан только результат обучения loss 0,9391.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

版本資訊

使用新的噪聲較小(理論上)的數據訓練
Lora使用了更大的r(32)
取消了Dora
因為Dora的提升有限，還會大幅降低訓練和推理的效率

簡介

本模型是基於MediaTek-Research/Breeze-7B-Instruct-v1_0微調後的產物
模型使用來自PTT網站中的Gossiping分類的資料訓練
過程中使用了一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為訓練數據
訓練資料: Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400_v2

設備

Ubuntu 22.04.4 LTS
NVIDIA GeForce RTX 3060 12G

Lora參數

r=32,
lora_alpha=32,
lora_dropout=0.1,
task_type="CAUSAL_LM",
target_modules="all-linear",
bias="none",
use_rslora=True

訓練參數

per_device_train_batch_size=28,  
gradient_accumulation_steps=1,  
num_train_epochs=3,  
warmup_ratio=0.1,  
learning_rate=2e-5,  
bf16=True,  
save_strategy="steps",  
save_steps=1000,  
save_total_limit=5,  
logging_steps=10,  
output_dir=log_output,  
optim="paged_adamw_8bit",  
gradient_checkpointing=True

結果

loss: 0.9391

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 460ac3a