multiberts_seed_1_ft_2

Jeevesh8/multiberts_seed_1_ft_2 — модель классификации текста на базе BERT MultiBERTs seed 1, опубликованная пользователем Jeevesh8 и происходящая от модели Google MultiBERTs. Она предназначена для присвоения входному тексту одного или нескольких классов в прикладных задачах классификации; точный набор меток и задача дообучения для этого репозитория в доступных источниках не указаны.

Модель содержит около 136,7 млн параметров и поддерживает контекст до 512 токенов. Архитектура относится к BERT; исходная MultiBERTs была обучена для английского языка с использованием masked language modeling и next sentence prediction. Модель рассчитана на работу с текстом и может применяться через экосистему Transformers, включая JAX.

Сильная сторона модели — готовая BERT-архитектура для задач текстовой классификации и совместимость с инструментами Hugging Face. Ограничения связаны с неизвестными точными классами и целевой областью дообучения, а также с англоязычной базой. Для исходной модели Google указан Apache-2.0, но лицензию производного репозитория следует проверить отдельно.