Это дообученная модель XLM, созданная на основе FacebookAI/xlm-mlm-100-1280 для Plains Cree и английского языка. Она обучена предсказывать замаскированные токены с использованием Translation Language Modeling: предложения на двух языках объединялись, а маскировка применялась совместно. Дополнительно использовалась функция потерь InfoNCE для сближения представлений предложений на кри и английском языках.

Модель предназначена как энкодер-основа для кросс-языковой дистилляции классификаторов переносного языка на Plains Cree. Для обучения использовались параллельные тексты Bloomfield и корпус EdTeKLA, около 9 000 пар предложений. Контекст модели — 512 токенов; архитектура — XLM с 570 млн параметров. Репозиторий содержит веса в формате safetensors и распространяется по лицензии CC BY 4.0.

Модель подходит для задач восстановления замаскированных токенов и получения согласованных представлений текстов на Plains Cree и английском, в частности для дальнейшего обучения кросс-языковых классификаторов. Её специализация на одной языковой паре и небольшом параллельном корпусе ограничивает перенос на другие языки и области; готовый классификатор переносного языка в репозитории не заявлен.