/ Модель

Характеристики

Контекст
514 токенов
Параметры
110 млн
Архитектура
xlm-roberta · dense

mMiniLMv2-L6-H384-distilled-from-XLMR-Large

Заполнение пропусковТекст → текст3 профессии

Многоязычная дистиллированная модель MiniLMv2 для предсказания замаскированных токенов и заполнения пропусков в тексте.

2 385скачиваний за 30 дней18лайковвеса обновлены20 июн 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mMiniLMv2-L6-H384-distilled-from-XLMR-Large — многоязычная модель на архитектуре XLM-RoBERTa, опубликованная Nils Reimers под идентификатором nreimers/mMiniLMv2-L6-H384-distilled-from-XLMR-Large. Это версия MiniLMv2, дистиллированная из XLM-RoBERTa Large; модель предназначена для предсказания замаскированных токенов и языкового моделирования с заполнением пропусков в тексте. По метаданным, она содержит около 110,2 млн параметров, имеет 6 слоёв и скрытую размерность 384 согласно названию, поддерживает контекст до 514 токенов и доступна в формате PyTorch.

В карточке приведён пример использования с pipeline fill-mask в Transformers. Модель подходит для многоязычных текстовых сценариев; точный перечень поддерживаемых языков в источниках не установлен. Базовая модель MiniLMv2 разработана Microsoft; исходная модель представлена в исследовательском семействе, но этот чекпойнт пригоден для прикладного использования. Условия лицензирования в доступных источниках не подтверждены.

Сценарии применения

  • восстановление пропущенных слов в многоязычном тексте
  • предсказание вероятных токенов в замаскированной фразе
  • проверка вариантов заполнения текстового пропуска

Ограничения

Контекст ограничен 514 токенами. Доступные источники не подтверждают лицензию и не дают точного перечня поддерживаемых языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForMaskedLM
Ревизия весов
160deb7

0 моделей