multiberts_seed_2_ft_1

Jeevesh8/multiberts_seed_2_ft_1 — модель семейства MultiBERTs на архитектуре BERT, опубликованная пользователем Jeevesh8 и основанная на англоязычном чекпойнте MultiBERTs seed 2, разработанном Google. По метаданным Hugging Face модель предназначена для классификации текста и содержит около 136,7 млн параметров; максимальная длина контекста составляет 512 токенов. Для работы используется экосистема Transformers и JAX.

MultiBERTs — воспроизведение BERT-base uncased для английского языка, предварительно обученное с masked language modeling и next sentence prediction. Чекпойнты MultiBERTs созданы для исследований устойчивости результатов к случайной инициализации и порядку обучающих примеров. Конкретная схема меток и предметная область дообучения именно этой версии из доступных источников не установлены, поэтому модель следует применять только с проверкой соответствия нужной задаче классификации. Лицензия для этого производного чекпойнта в доступных данных не подтверждена.