Характеристики

Контекст: 8 192 токена
Параметры: 1 млрд
Архитектура: llama · dense
Базовая модель: TinyLlama-1.1B-intermediate-step-1431k-3T
Библиотека: transformers
Опубликована: 24 апр 2024

Ссылки

Hugging Face

refusal

mrfakename

Генерация текстаТекст → текст3 профессии

Компактная дообученная TinyLlama, предназначенная для генерации англоязычных ответов с отказом на запросы пользователя.

22скачиваний за 30 дней6лайковвеса обновлены24 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mrfakename/refusal — компактная разговорная языковая модель на 1 млрд параметров, созданная дообучением TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T на наборе данных отказов mrfakename/refusal. Она предназначена для генерации ответов в стиле отказа на запросы пользователя и экспериментов с поведением отказа. Модель использует архитектуру Llama, принимает текст и выдаёт текст, поддерживает формат диалога ChatML и имеет контекстное окно 8192 токена. В карточке приведены результаты обучения за несколько шагов и параметры обучения.

Модель рассчитана на англоязычный диалог. Это узкоспециализированный чекпойнт: он склонен отказывать на широкий круг запросов, поэтому не подходит для универсального помощника, которому требуется содержательно отвечать на запросы. Распространяется под лицензией, указанной в метаданных Hugging Face; в предоставленных данных её название отсутствует.

Сценарии применения

эксперименты с поведением отказа языковой модели
проверка отказов чат-модели на пользовательские запросы
создание демонстрационного чат-бота, который отказывает на большинство запросов

Ограничения

Модель склонна отказывать на большинство запросов и поэтому ограниченно пригодна для обычного диалога. Приведённые результаты обучения охватывают лишь отдельные шаги; лицензия в предоставленных данных не названа.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.11Разработка и данныеКибербезопасность и приватностьAI помогает обнаруживать киберугрозы, защищать данные и помогать реагировать на инциденты.25 задач4 232модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

I messed up on the previous model. This is a fixed version.

A tiny 1B model that refuses basically anything you ask it! Trained on the refusal dataset. Prompt format is ChatML.

Training results:

Training Loss	Epoch	Step	Validation Loss
2.4352	0.0580	1	2.4462
1.5741	0.5217	9	1.4304
1.5204	1.0435	18	1.3701
1.0794	1.5217	27	1.3505
1.1275	2.0435	36	1.3344
0.6652	2.5217	45	1.4360
0.6248	3.0435	54	1.4313
0.6142	3.5072	63	1.4934

Training hyperparemeters:

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 2
eval_batch_size: 2
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 10
num_epochs: 4

Base model: https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: c9ce7f1