Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-small-summery
Опубликована: 3 сен 2024

Ссылки

Hugging Face

BlocksmithV2.1

DesilDev

Языковая модель

Дообученная модель T5-small для создания кратких текстовых резюме.

8скачиваний за 30 дней0лайковвеса обновлены3 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BlocksmithV2.1 — дообученная модель T5-small, созданная на основе DesilDev/t5-small-summery. Она предназначена для генерации кратких текстовых резюме; базовая модель дообучена на XSum. Архитектура — плотный T5 с 38,5 млн параметров, длина контекста — 512 токенов.

Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не содержит сведений о дополнительном обучающем наборе, оценке качества или ограничениях применения.

Сценарии применения

составление краткого резюме текста
сжатие длинного текста до основных тезисов
подготовка кратких аннотаций документов

Ограничения

Контекст ограничен 512 токенами. Сведения об оценке качества и дополнительном обучающем наборе отсутствуют в карточке.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BlocksmithV2.1

This model is a fine-tuned version of DesilDev/t5-small-summery on the None dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
No log	1.0	206	1.6800	59.9436	38.5253	56.9934	57.089	14.4442

Framework versions

Transformers 4.42.4
Pytorch 2.4.0+cu121
Datasets 2.21.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 02728ad