Характеристики

Параметры: 124 млн
Архитектура: t5 · dense

Ссылки

IndoT5-base

Базовая модель T5, предварительно обученная на индонезийском корпусе mC4 и предназначенная для дообучения под задачи преобразования текста.

364скачиваний за 30 дней2лайкавеса обновлены4 июл 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Indonesian T5 Base — предварительно обученная модель семейства T5 от Wikidepia на индонезийской версии mC4 с дополнительной фильтрацией данных. Это текстовая архитектура encoder-decoder с 123,8 млн параметров, представленная в формате PyTorch.

Модель предназначена для последующего дообучения под конкретные задачи преобразования текста: например, суммаризацию, перевод или ответы на вопросы на индонезийском языке. В исходном виде она остаётся базовым чекпойнтом и не настроена для отдельной прикладной задачи.

Качество для прикладных задач в карточке не приведено. Как и другие языковые модели, она может выдавать предвзятый, вредный или неэтичный текст из-за особенностей обучающего корпуса. Условия лицензии в предоставленных данных не указаны.

Сценарии применения

дообучение для суммаризации индонезийских текстов
адаптация для перевода с индонезийского или на индонезийский
дообучение для ответов на вопросы по индонезийским текстам

Ограничения

Модель предварительно обучена и требует дообучения для конкретной задачи; метрики качества для прикладных задач не приведены. Возможны предвзятые, вредные или неэтичные ответы из-за состава обучающих данных.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Indonesian T5 Base

T5 (Text-to-Text Transfer Transformer) model pretrained on Indonesian mC4 with extra filtering. This model is pre-trained only and needs to be fine-tuned to be used for specific tasks.

Pretraining Details

Trained for 1M steps following google/t5-v1_1-base.

Model Performance

TBD

Limitations and bias

This model also has the problem of biased (unethical, harmful, biased) output results due to the bias of the content of the training data, which is associated with the language model using a large-scale corpus. There is potential. Assuming that this problem may occur, please be careful to use it only for applications that do not cause damage.

Acknowledgement

Thanks to Tensorflow Research Cloud for providing TPU v3-8s.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: da8e557