sst2

ShengdingHu/sst2 — адаптер LoRA для BigBird-RoBERTa-large, опубликованный Shengding Hu и дообученный для классификации тональности на английской части набора SST-2. В метаданных репозитория указана архитектура BigBirdForMaskedLM с 454,2 млн параметров и максимальной длиной последовательности 4096 токенов; конфигурация обучения указывает на изменение слоёв query и key и обучение в течение трёх эпох.

Модель предназначена для определения тональности коротких английских текстов по схеме SST-2, например отзывов и предложений с положительной или отрицательной оценкой. Однако карточка и метаданные задают её как fill-mask-модель, а опубликованная конфигурация обучения описывает SST-2; доступные сведения не подтверждают, что репозиторий предоставляет готовую классификационную голову или стандартный pipeline для классификации. Архитектура BigBird использует разреженное внимание и поддерживает длинные последовательности, хотя указанный датасет и максимальная длина источника обучения — 128 токенов.

Репозиторий содержит PyTorch-веса. Лицензия в проверенных сведениях не установлена; перед применением следует проверить её на карточке модели. Модель ориентирована на английский язык, а её практическая пригодность для классификации зависит от наличия совместимого адаптера и способа подключения задачи SST-2.