Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: Chitti-Base-model-for-GPT-v5
Опубликована: 17 июн 2024

Ссылки

Hugging Face

Chitti-Base-model-for-GPT-v6

Dhahlan2000

Языковая модель

Компактная дообученная модель T5 для генерации текста по текстовому запросу с контекстом до 512 токенов.

9скачиваний за 30 дней0лайковвеса обновлены17 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Dhahlan2000/Chitti-Base-model-for-GPT-v6 — дообученная модель семейства T5, разработанная Dhahlan2000 на базе Dhahlan2000/Chitti-Base-model-for-GPT-v5. Она предназначена для генерации текста по текстовому запросу; архитектура T5ForConditionalGeneration содержит 38,5 млн параметров и поддерживает контекст до 512 токенов. Модель сохранена в формате safetensors и распространяется по лицензии Apache-2.0.

В карточке приведены результаты оценки: loss 3,1159, BLEU 2,5383 и средняя длина генерации 12,7853. Датасет дообучения, целевые сценарии, поддерживаемые языки и конкретные ограничения не описаны, поэтому назначение и качество модели нельзя уточнить по имеющимся данным.

Сценарии применения

генерация короткого текста по запросу
текстовое преобразование с помощью архитектуры T5
экспериментальная оценка генерации текста по BLEU

Ограничения

Датасет и предполагаемые сценарии применения не описаны. В README указаны BLEU 2,5383 и loss 3,1159, но без подробностей об оценочном наборе эти значения не позволяют надёжно судить о качестве.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Chitti-Base-model-for-GPT-v6

This model is a fine-tuned version of Dhahlan2000/Chitti-Base-model-for-GPT-v5 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 3.1159
Bleu: 2.5383
Gen Len: 12.7853

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
3.3061	1.0	9282	3.1279	2.6553	12.8467
3.2993	2.0	18564	3.1159	2.5383	12.7853

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: a93c7af