gilberto-uncased-from-camembert

idb-ita/gilberto-uncased-from-camembert — италоязычная предварительно обученная языковая модель GilBERTo, разработанная командой idb-ita. Модель основана на архитектуре RoBERTa с подходом к токенизации CamemBERT и обучена на большом итальянском веб-корпусе OSCAR с использованием маскирования подслов.

Модель предназначена прежде всего для задачи fill-mask: она предсказывает пропущенные токены в итальянском тексте. Её также можно дообучать для задач итальянской обработки естественного языка, включая разметку частей речи и распознавание именованных сущностей. Модель содержит около 137,8 млн параметров, использует 12-слойную архитектуру с 12 attention heads, словарь SentencePiece/BPE примерно на 32 тысячи подслов и поддерживает контекст длиной до 514 токенов.

Сильные стороны модели — специализация на итальянском языке и пригодность для последующего дообучения в итальянских NLP-сценариях. Это не генеративная диалоговая модель и не универсальная модель для свободного написания длинных текстов. Вариант uncased не сохраняет регистр букв, а качество downstream-задач зависит от доступности итальянских датасетов и выбранного дообучения.