MiniLMv2-L6-H384-distilled-from-BERT-Base — компактная языковая модель на архитектуре BERT, опубликованная nreimers и основанная на разработках Microsoft UniLM. Это шестислойная модель со скрытым размером 384 и примерно 25,9 млн параметров, дистиллированная из BERT-Base; она предназначена для задач понимания текста и запуска fill-mask. Модель принимает текст и предсказывает замаскированные токены в контексте до 512 токенов.

Карточка демонстрирует использование через Transformers и задачу fill-mask; поддерживаемый язык явно не указан. По сравнению с крупными BERT-моделями компактный размер удобен для более лёгкого инференса, но карточка не приводит отдельных оценок качества. Лицензия в доступной карточке не указана.