LuxemBERT-v2

LuxemBERT-v2 — языковая модель на архитектуре BERT, разработанная Isabella Olariu, Cedric Lothritz, Tegawendé F. Bissyandé и Jacques Klein для люксембургского языка. Модель представляет собой двунаправленный Transformer для masked language modeling и доступна в библиотеке Transformers как модель fill-mask.

Модель предназначена для восстановления замаскированных токенов и последующей адаптации к задачам обработки люксембургского текста, включая разметку частей речи, распознавание именованных сущностей, классификацию намерений и новостных материалов. Она продолжает предварительное обучение LuxemBERT на расширенном корпусе люксембургских текстов с применением методов аугментации данных.

Модель содержит 136,3 млн параметров, использует 12 Transformer-блоков и поддерживает контекст до 514 токенов. Основной язык — люксембургский. Модель ориентирована на текстовые задачи и не предназначена для генерации длинных текстов или обработки изображений, аудио и видео. В исследовательской оценке её результаты зависели от downstream-задачи; для некоторых задач она уступала базовым моделям. Лицензия в доступных данных не установлена.