Характеристики

Контекст: 512 токенов
Параметры: 38,5 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: t5-small
Библиотека: transformers
Опубликована: 19 ноя 2024

Ссылки

kazparc_ru_en_model_1

Языковая модель

Компактная дообученная модель T5 для преобразования текста, предположительно ориентированная на русский и английский языки.

11скачиваний за 30 дней0лайковвеса обновлены21 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Goshective/kazparc_ru_en_model_1 — дообученная модель T5-small от Goshective на базе google-t5/t5-small, предназначенная для преобразования текста в текст. Название указывает на пару русского и английского языков, однако README не описывает конкретное направление перевода, датасет или предполагаемые сценарии применения.

Модель содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и рассчитана на контекст до 512 токенов. В README приведены результаты оценки: loss 2,9041 и BLEU 4,1081; они не подтверждают высокое качество перевода. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Сценарии применения

экспериментальное преобразование коротких текстов между русским и английским
оценка модели T5 на задачах генерации текста из текста
исследование качества дообучения компактных моделей T5

Ограничения

Назначение и обучающие данные подробно не описаны; приведённый BLEU 4,1081 указывает на низкий результат в указанной оценке. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

kazparc_ru_en_model_1

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.9041
Bleu: 4.1081
Gen Len: 15.9544

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
3.4269	1.0	9079	3.1224	2.7515	16.0718
3.232	2.0	18158	2.9539	3.7624	15.9745
3.1934	3.0	27237	2.9041	4.1081	15.9544

Framework versions

Transformers 4.46.2
Pytorch 2.5.1+cu121
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: f0fa68b