TOD-BERT-JNT-V1

TOD-BERT-JNT-V1 — предобученная модель семейства BERT, разработанная Chien-Sheng Wu, Steven Hoi, Richard Socher и Caiming Xiong для понимания диалогов, ориентированных на выполнение задач. Модель обучалась на корпусах многоходовых task-oriented диалогов и использует совместно цели masked language modeling (MLM) и response contrastive learning (RCL).

Модель предназначена для последующей адаптации к распознаванию намерений, отслеживанию состояния диалога, классификации диалоговых актов и ранжированию или выбору ответов. В метаданных Hugging Face указаны архитектура BERT, задача fill-mask, около 136,7 млн параметров и максимальная длина контекста 512 токенов; поддерживаются Transformers, PyTorch, TensorFlow и JAX. Репозиторий разработчиков распространяется под лицензией BSD-2-Clause.