tiny-bert-sst2-distilled

Она предназначена для классификации текста и настроена на задачу SST-2: определение тональности как negative или positive. Модель загружается через Transformers как BertForSequenceClassification и рассчитана на запуск в PyTorch.

Архитектура основана на google/bert_uncased_L-2_H-128_A-2: 2 Transformer-слоя, 2 attention heads, размер скрытого представления 128, промежуточный размер 512 и словарь из 30 522 токенов. Максимальная длина последовательности — 512 токенов; используются только текстовые входы. Размер файлов модели на странице репозитория составляет около 18,6 МБ, что облегчает локальный запуск и снижает требования к ресурсам.

Сильные стороны модели — малый размер и специализация на быстрой бинарной классификации тональности. Ограничения — узкая область применения: она не предназначена для генерации текста, диалога или универсального понимания языка; качество вне сценария SST-2 может быть существенно ниже. На странице репозитория указано, что обучение находится в процессе, поэтому готовность и стабильность модели могут быть ограничены. Лицензия в доступных материалах не указана.