spanbert-large-cased

SpanBERT-large-cased — англоязычная предобученная языковая модель на архитектуре BERT, разработанная исследовательской группой SpanBERT и опубликованная организацией SpanBERT. Она использует обучение, ориентированное на представление и предсказание фрагментов текста, и предназначена как основа для последующей настройки на задачи понимания текста, особенно ответы на вопросы, выделение отношений и разрешение кореференции. В официальном репозитории указана конфигурация из 24 слоёв, скрытого размера 1024 и 16 голов внимания; метаданные этой копии Hugging Face указывают 432,3 млн параметров и контекст до 512 токенов.

Модель принимает текст и выдаёт контекстные представления токенов; сама по себе это не генеративный чат-бот и не готовый классификатор для всех перечисленных задач. Репозиторий демонстрирует её применение после дообучения на SQuAD, TACRED, GLUE и задачах кореференции. SpanBERT показала преимущество над BERT в приведённых авторами оценках SQuAD и кореференции. Модель предназначена для английского языка. Лицензия — CC-BY-NC 4.0, в том числе для предобученных весов; коммерческое использование не разрешено этой лицензией.