MiniLMv2
This is a MiniLMv2 model from: https://github.com/microsoft/unilm
Многоязычная дистиллированная модель MiniLMv2 для предсказания замаскированных токенов и заполнения пропусков в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mMiniLMv2-L6-H384-distilled-from-XLMR-Large — многоязычная модель на архитектуре XLM-RoBERTa, опубликованная Nils Reimers под идентификатором nreimers/mMiniLMv2-L6-H384-distilled-from-XLMR-Large. Это версия MiniLMv2, дистиллированная из XLM-RoBERTa Large; модель предназначена для предсказания замаскированных токенов и языкового моделирования с заполнением пропусков в тексте. По метаданным, она содержит около 110,2 млн параметров, имеет 6 слоёв и скрытую размерность 384 согласно названию, поддерживает контекст до 514 токенов и доступна в формате PyTorch.
В карточке приведён пример использования с pipeline fill-mask в Transformers. Модель подходит для многоязычных текстовых сценариев; точный перечень поддерживаемых языков в источниках не установлен. Базовая модель MiniLMv2 разработана Microsoft; исходная модель представлена в исследовательском семействе, но этот чекпойнт пригоден для прикладного использования. Условия лицензирования в доступных источниках не подтверждены.
Контекст ограничен 514 токенами. Доступные источники не подтверждают лицензию и не дают точного перечня поддерживаемых языков.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a MiniLMv2 model from: https://github.com/microsoft/unilm
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…