Multilingual MiniLMv2
This is a MiniLMv2 model from: https://github.com/microsoft/unilm
Характеристики
- Контекст
- 514 токенов
- Параметры
- 124 млн
- Архитектура
- xlm-roberta · dense
Ссылки
mMiniLMv2-L12-H384-distilled-from-XLMR-Large
Многоязычная дистиллированная модель XLM-RoBERTa для предсказания замаскированных слов в тексте.
11 318скачиваний за 30 дней18лайковвеса обновлены20 июн 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Multilingual MiniLMv2 — компактная многоязычная модель на базе архитектуры XLM-RoBERTa, опубликованная пользователем nreimers; в карточке указано, что это MiniLMv2 от Microsoft UniLM, дистиллированная из XLM-R Large. Она предназначена для языкового моделирования с маскировкой: по тексту с токеном <mask> предсказывает подходящие замены. Модель имеет 12 слоёв, скрытый размер 384, около 124,3 млн параметров и максимальную длину последовательности 514 токенов.
Карточка не указывает лицензию; она использует токенизатор XLM-RoBERTa и заявляет многоязычное назначение, но конкретный список языков в карточке не приведён.
Сценарии применения
- подстановка пропущенного слова в предложении
- предсказание вероятных продолжений на месте <mask>
- сравнение вариантов заполнения пропуска в тексте
Ограничения
Модель предназначена для предсказания токенов в контексте маски и сама по себе не является генеративным чат-ботом. Карточка не перечисляет поддерживаемые языки и не сообщает лицензионные условия.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- XLMRobertaForMaskedLM
- Ревизия весов
- d828558