roberta-base-ncc-512b

Это вариант RoBERTa-base, предназначенный прежде всего для заполнения пропусков в тексте и последующей адаптации к задачам обработки естественного языка, например классификации или извлечению признаков после дообучения. В карточке модели указан тип задачи Fill-Mask и поддержка библиотек Transformers и JAX.

Модель использует архитектуру RoBERTa с masked language modeling: 12 слоями Transformer, 12 attention heads, размером скрытого представления 768 и словарём из 50 265 токенов. Максимальная длина входа составляет 512 токенов. Модель работает с текстом и не является мультимодальной; поддерживаемые языки и точный состав обучающих данных для этого варианта надёжно не указаны. Суффикс NCC, вероятно, связан с набором данных или серией экспериментов, но без достаточной документации это нельзя установить точно.

Сильные стороны модели — стандартная и широко поддерживаемая архитектура RoBERTa-base, пригодная для контекстного анализа текста и masked-token prediction. Ограничения — отсутствие генерации свободного текста как основной задачи, ограничение контекста 512 токенами и необходимость дообучения для прикладных задач. В доступных источниках лицензия именно этой модели не указана, поэтому условия её использования следует уточнять у автора репозитория.