Характеристики

Контекст: 514 токенов
Параметры: 659 млн
Лицензия: MIT
Архитектура: xmod · dense
Опубликована: 31 дек 2022

Ссылки

Hugging Face

xmod-large-prenorm

facebook

Заполнение пропусковТекст → текст3 профессии

Мультиязычная модель X-MOD large предсказывает замаскированные слова в тексте на одном из 81 языков.

288скачиваний за 30 дней0лайковвеса обновлены25 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

facebook/xmod-large-prenorm — мультиязычная модель X-MOD размера large, разработанная Facebook и обученная на 81 языке. Она предназначена для заполнения пропусков в тексте: модель предсказывает замаскированные токены с учётом окружающего контекста и подходит для задач на основе masked language modeling.

Модель содержит около 658,7 млн параметров, использует плотную архитектуру X-MOD и принимает текстовые последовательности с контекстом до 514 токенов. В метаданных перечислена поддержка языков от африкаанс до ория; карточка указывает обучение на 81 языке. Доступна в формате PyTorch по лицензии MIT.