Модель реализована для Transformers и обучалась на неизвестном наборе данных, поэтому её точная предметная специализация, поддерживаемые языки и рекомендуемые сценарии применения не определены.

Известно, что модель имеет размер базовой модели 135 млн параметров и относится к текстовым моделям; сведения о модальностях, архитектурных деталях и размере контекстного окна в карточке отсутствуют. Дообучение проводилось в течение пяти эпох с learning rate 5e-05, эффективным размером батча 16 и линейным планировщиком скорости обучения. Итоговая validation loss составила 2,1396, однако результаты прикладных тестов и сравнение с другими моделями не приведены.

Модель может быть полезна для экспериментов с небольшими дообученными языковыми моделями, но качество на конкретных задачах заранее оценить нельзя из-за отсутствия информации о тренировочных данных и назначении. Неизвестны ограничения, устойчивость, фактические языки и сценарии использования; перед применением необходимы собственные тесты. Лицензия — Apache-2.0.