Она создана для непрерывной интеграции и проверки OpenVINO в проекте optimum-intel, а не для решения прикладных задач генерации текста.

Модель реализует OuroForCausalLM — Universal Transformer — с причинно-следственной языковой моделью. Она использует случайно сгенерированные веса, скрытый размер 32, промежуточный размер 64, 2 слоя, 4 attention heads, 2 key-value heads, размерность головы 8 и 4 шага Universal Transformer. При этом сохранены полный размер словаря 49152 и оригинальный tokenizer, чтобы проверять корректность преобразования и обратного преобразования токенов. Другие модальности и языки в README не указаны.

Из-за случайных весов модель непригодна для качественной генерации, обучения или оценки языковых способностей; её сильная сторона — малый размер и возможность быстро тестировать интеграцию, архитектурный цикл Universal Transformer и работу токенизатора в OpenVINO CI. Модель распространяется по лицензии Apache-2.0.