/ Модель

Характеристики

Контекст
514 токенов
Параметры
659 млн
Архитектура
xlm-roberta · dense

infoxlm-large

Заполнение пропусковТекст → текст3 профессии

Многоязычная модель Microsoft на базе XLM-RoBERTa для предсказания замаскированных токенов и кросс-языковой обработки текста.

102 тыс.скачиваний за 30 дней15лайковвеса обновлены4 авг 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

InfoXLM-large — многоязычная языковая модель Microsoft, представленная в работе NAACL 2021 «InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training». Это плотная модель семейства XLM-RoBERTa с архитектурой XLMRobertaForMaskedLM и примерно 658,7 млн параметров; репозиторий содержит веса PyTorch.

Модель предназначена для работы с замаскированными токенами: по тексту с пропуском она предсказывает подходящее слово или токен. Информационно-теоретическое предварительное обучение ориентировано на кросс-языковые представления, поэтому модель подходит для многоязычных задач понимания текста и переноса между языками. Максимальная длина контекста составляет 514 токенов.

Карточка не перечисляет конкретные поддерживаемые языки, наборы данных или прикладные специализации. Это модель заполнения масок, а не генеративный чат-ассистент. Лицензия в предоставленных данных не указана.

Сценарии применения

  • подстановка пропущенного слова в предложении
  • оценка вариантов заполнения текстового пропуска
  • получение контекстных представлений слов для языковых задач
  • перенос задач понимания текста между языками

Ограничения

Ограничена задачей заполнения масок и контекстом до 514 токенов; карточка не перечисляет поддерживаемые языки. Условия лицензии в предоставленных данных не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

InfoXLM

InfoXLM (NAACL 2021, paper, repo, model) InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training.

MD5

05b95b7d977450b364f8ea3269391953  config.json
c19438359fed6d36b0c1bbb107929579  pytorch_model.bin
bf25eb5120ad92ef5c7d8596b5dc4046  sentencepiece.bpe.model
eedbd60a7268b9fc45981b849664f747  tokenizer.json

BibTeX

@inproceedings{chi-etal-2021-infoxlm,
  title = "{I}nfo{XLM}: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training",
  author={Chi, Zewen and Dong, Li and Wei, Furu and Yang, Nan and Singhal, Saksham and Wang, Wenhui and Song, Xia and Mao, Xian-Ling and Huang, Heyan and Zhou, Ming},
  booktitle = "Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
  month = jun,
  year = "2021",
  address = "Online",
  publisher = "Association for Computational Linguistics",
  url = "https://aclanthology.org/2021.naacl-main.280",
  doi = "10.18653/v1/2021.naacl-main.280",
  pages = "3576--3588",}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForMaskedLM
Ревизия весов
d616d63

0 моделей