Характеристики

Параметры: 124 млн
Лицензия: CC BY-SA 4.0
Архитектура: t5 · dense
Опубликована: 26 апр 2023

Ссылки

Hugging Face arXiv 2002.05202

t5-base-medium

Японская модель T5 v1.1 от Retrieva для генерации и преобразования текста, которую можно дообучать под конкретные NLP-задачи.

90скачиваний за 30 дней1лайквеса обновлены10 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

retrieva-jp/t5-base-medium — японская предварительно обученная модель T5 v1.1, разработанная компанией Retrieva, Inc. Это Transformer-энкодер-декодер для преобразования текста в текст; в метаданных указано 123,8 млн параметров и формат PyTorch. Модель обучена на японской части mC4 и японской Википедии, поэтому предназначена для японскоязычных сценариев генерации и преобразования текста.

Модель можно адаптировать для суммаризации, перефразирования, ответов на вопросы и других задач text-to-text. В T5 v1.1 используются активация GEGLU, отключённый dropout при предварительном обучении и отдельные слои эмбеддингов и классификатора. Лицензия CC-BY-SA 4.0 допускает коммерческое использование; разработчик просит предварительно связаться с ним. Карточка описывает модель как Base примерно на 220 млн параметров, тогда как метаданные каталога указывают 123,8 млн.

Сценарии применения

дообучение модели для суммирования японских текстов
перефразирование предложений на японском языке
создание японского текстового ответа по входному запросу
адаптация text-to-text модели для японских NLP-задач

Ограничения

Модель предварительно обучена на японских данных и не заявлена как многоязычная; для конкретных задач может потребоваться дообучение. В README размер указан примерно как 220 млн параметров, а в метаданных — 123,8 млн.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for model ID

This is a T5 v1.1 model, pre-trained on a Japanese corpus.

Model details

T5 is a Transformer-based Encoder-Decoder model, now in v1.1, with the following improvements over the original T5.

GEGLU activation in feed-forward hidden layer, rather than ReLU - see https://arxiv.org/abs/2002.05202 .
Dropout was turned off in pre-training (quality win). Dropout should be re-enabled during fine-tuning.
no parameter sharing between embedding and classifier layer
"xl" and "xxl" replace "3B" and "11B". The model shapes are a bit different - larger d_model and smaller num_heads and d_ff.

This model is based on T5 v1.1. It was pre-trained on a Japanese corpus. For the Japanese corpus, Japanese Wikipedia and mC4/ja were used.

Model Description

Developed by: Retrieva, Inc.
Model type: T5 v1.1
Language(s) (NLP): Japanese
License: CC-BY-SA 4.0 Although commercial use is permitted, we kindly request that you contact us beforehand.

Training Details

We use T5X (https://github.com/google-research/t5x) for the training of this model, and it has been converted to the Huggingface transformer format.

Training Data

The training data used is

The Japanese part of the multilingual C4(mC4/ja).
Japanese Wikipedia(20220920).

Preprocessing

The following filtering is done

Remove documents that do not use a single hiragana character. This removes English-only documents and documents in Chinese.
Whitelist-style filtering using the top level domain of URL to remove affiliate sites.

Training Hyperparameters

dropout rate: 0.0
batch size: 256
fp32
input length: 512
output length: 114
Otherwise, the default value of T5X (https://github.com/google-research/t5x/blob/main/t5x/examples/t5/t5_1_1/base.gin) is followed, including the following.
- optimizer: Adafactor
- base_learning_rate: 1.0
- warmup steps: 10000