Характеристики

Параметры: 385 млн
Лицензия: CC BY-SA 4.0
Архитектура: t5 · dense
Опубликована: 26 апр 2023

Ссылки

Hugging Face arXiv 2002.05202

t5-large-long

Предварительно обученная на японских текстах модель T5 v1.1 для генеративных задач преобразования текста и дальнейшего дообучения.

174скачиваний за 30 дней9лайковвеса обновлены10 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

retrieva-jp/t5-large-long — модель T5 v1.1, разработанная Retrieva, Inc. и предварительно обученная на японском корпусе. Это плотный Transformer Encoder-Decoder для генерации текста по текстовому запросу; в метаданных указано 385,2 млн параметров, а в README размер обозначен как Large, примерно 770 млн параметров.

Модель обучалась на японской части mC4 и японской Википедии. T5 v1.1 использует активацию GEGLU, а веса эмбеддингов не разделяются с классификационным слоем. Она подходит как исходная точка для дообучения японских моделей преобразования текста и генеративных задач. Длина контекста и конкретные результаты оценки в предоставленных данных не приводятся.

Лицензия — CC-BY-SA 4.0; коммерческое использование разрешено, при этом разработчик просит предварительно связаться с ним. Модель предназначена для японского языка, поэтому её применимость к другим языкам не подтверждена.

Сценарии применения

дообучение генеративной модели для японского языка
создание японской модели преобразования текста по инструкции
эксперименты с архитектурой T5 v1.1 на японских корпусах

Ограничения

Модель предварительно обучена для японского языка, поэтому её качество для других языков не подтверждено. Длина контекста и результаты оценки не приведены; README и метаданные также расходятся в оценке размера: около 770 млн против 385,2 млн параметров.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for model ID

This is a T5 v1.1 model, pre-trained on a Japanese corpus.

Model details

T5 is a Transformer-based Encoder-Decoder model, now in v1.1, with the following improvements over the original T5.

GEGLU activation in feed-forward hidden layer, rather than ReLU - see https://arxiv.org/abs/2002.05202 .
Dropout was turned off in pre-training (quality win). Dropout should be re-enabled during fine-tuning.
no parameter sharing between embedding and classifier layer
"xl" and "xxl" replace "3B" and "11B". The model shapes are a bit different - larger d_model and smaller num_heads and d_ff.

This model is based on T5 v1.1. It was pre-trained on a Japanese corpus. For the Japanese corpus, Japanese Wikipedia and mC4/ja were used.

Model Description

Developed by: Retrieva, Inc.
Model type: T5 v1.1
Language(s) (NLP): Japanese
License: CC-BY-SA 4.0 Although commercial use is permitted, we kindly request that you contact us beforehand.

Training Details

We use T5X (https://github.com/google-research/t5x) for the training of this model, and it has been converted to the Huggingface transformer format.

Training Data

The training data used is

The Japanese part of the multilingual C4(mC4/ja).
Japanese Wikipedia(20220920).

Preprocessing

The following filtering is done

Remove documents that do not use a single hiragana character. This removes English-only documents and documents in Chinese.
Whitelist-style filtering using the top level domain of URL to remove affiliate sites.

Training Hyperparameters

dropout rate: 0.0
batch size: 256
fp32
input length: 512
output length: 114
Otherwise, the default value of T5X (https://github.com/google-research/t5x/blob/main/t5x/examples/t5/t5_1_1/large.gin) is followed, including the following.
- optimizer: Adafactor
- base_learning_rate: 1.0
- warmup steps: 10000