tiny_T5ForSeq2SeqLM-lora

Он предназначен для подключения к базовой модели peft-internal-testing/tiny-T5ForConditionalGeneration и проверки сценариев Parameter-Efficient Fine-Tuning (PEFT), а не для самостоятельного использования как полноценная универсальная модель.

Адаптер рассчитан на задачу sequence-to-sequence language modeling и использует LoRA с рангом r=8, alpha=8 и dropout 0.0. Адаптируются модули q и v; режим inference включён. Модель относится к семейству T5 и работает с текстом, однако точные размер, языки, длина контекста и другие характеристики базовой tiny-модели в доступных данных не указаны. Сильная сторона — малый объём параметров адаптера и совместимость с библиотекой PEFT; ограничение — тестовое назначение и зависимость от указанной базовой модели. Лицензия в доступной карточке модели не указана.