/ Модель

Характеристики

Контекст
514 токенов
Параметры
305 млн
Архитектура
xlm-roberta · dense

infoxlm-base

Заполнение пропусковТекст → текст3 профессии

InfoXLM — многоязычная модель Microsoft на базе XLM-RoBERTa для предсказания пропущенных токенов в тексте и кросс-языковых языковых задач.

10 070скачиваний за 30 дней11лайковвеса обновлены4 авг 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

InfoXLM — многоязычная модель Microsoft для предварительного обучения кросс-языковых представлений на основе информационно-теоретического подхода. Это плотная архитектура XLM-RoBERTa с примерно 305,2 млн параметров, опубликованная в рамках работы NAACL 2021. Репозиторий содержит веса PyTorch и SentencePiece-токенизатор.

Модель рассчитана на языковые задачи с маскированными токенами: она принимает текст с пропущенным фрагментом и предсказывает вероятные варианты его заполнения. Такие предсказания могут служить основой для языкового моделирования и кросс-языковых NLP-сценариев. Максимальная длина контекста — 514 токенов.

В карточке нет сведений о лицензии и конкретном наборе поддерживаемых языков. Качество заполнения пропусков и пригодность для прикладных сценариев зависят от языка и предметной области; модель не является готовым чат-ассистентом.

Сценарии применения

  • предсказание пропущенного слова в предложении
  • оценка вероятных вариантов заполнения маскированного токена
  • создание базовой модели для кросс-языковых NLP-экспериментов

Ограничения

Карточка не перечисляет поддерживаемые языки и не сообщает лицензию. Модель предназначена для предсказания замаскированных токенов, а не для диалоговой генерации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

InfoXLM

InfoXLM (NAACL 2021, paper, repo, model) InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training.

MD5

b9d214025837250ede2f69c9385f812c  config.json
bd6b1f392293f0cd9cd829c02971ecd9  pytorch_model.bin
bf25eb5120ad92ef5c7d8596b5dc4046  sentencepiece.bpe.model
eedbd60a7268b9fc45981b849664f747  tokenizer.json

BibTeX

@inproceedings{chi-etal-2021-infoxlm,
  title = "{I}nfo{XLM}: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training",
  author={Chi, Zewen and Dong, Li and Wei, Furu and Yang, Nan and Singhal, Saksham and Wang, Wenhui and Song, Xia and Mao, Xian-Ling and Huang, Heyan and Zhou, Ming},
  booktitle = "Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies",
  month = jun,
  year = "2021",
  address = "Online",
  publisher = "Association for Computational Linguistics",
  url = "https://aclanthology.org/2021.naacl-main.280",
  doi = "10.18653/v1/2021.naacl-main.280",
  pages = "3576--3588",}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForMaskedLM
Ревизия весов
c67f260

0 моделей