Модель предназначена прежде всего для задач понимания естественного языка и запуска masked-language modeling: восстановления замаскированных токенов, а также последующей донастройки для классификации, извлечения ответов и других NLU-задач.

Архитектура включает 6 Transformer-слоёв, размер скрытого состояния 384 и 12 attention heads; объём модели составляет примерно 23 млн параметров, размер файла весов — около 46,4 МБ. Это текстовая, англоязычная BERT-подобная модель с контекстом до 512 токенов и словарём BERT. В карточке Hugging Face она классифицирована как Fill-Mask и поддерживает Transformers и PyTorch.

Сильные стороны модели — существенно меньший размер и более быстрая инференсная обработка по сравнению с BERT-Large при сохранении полезных представлений для широкого спектра NLU-задач; в исследовании MiniLMv2 дистилляция основана на переносе отношений multi-head self-attention. Ограничения: модель не является генеративной, не предназначена для диалога или свободной генерации текста, имеет ограничение длины входа и требует task-specific fine-tuning для прикладных задач. Лицензия непосредственно в доступной карточке модели не указана.