tiny-random-working-LongT5Model

По доступным данным, она предназначена для извлечения признаков из текста и интеграции с библиотекой Transformers на PyTorch, а не для самостоятельного прикладного использования как полноценно обученная генеративная модель.

LongT5 — encoder-decoder Transformer для обработки длинных последовательностей, разработанный Google Research. Архитектура сочетает идеи разреженного глобально-локального внимания из ETC с подходами предварительного обучения PEGASUS и основана на масштабируемой архитектуре T5. Для данной tiny-random-версии точный размер, число параметров, максимальная длина контекста и языки в доступных источниках не указаны; название указывает на уменьшенную случайно инициализированную конфигурацию, поэтому качество на реальных задачах не подтверждено.

Сильная сторона модели — возможность использовать её для проверки совместимости и работы компонентов LongT5 в Transformers при небольших вычислительных затратах. Ограничения — тестовый характер, отсутствие подтверждённых прикладных метрик и, вероятно, отсутствие полноценного обучения на целевой задаче. Надёжная информация о лицензии модели в доступных источниках не указана.