Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Архитектура: xlm-roberta · dense

Ссылки

tf-xlm-roberta-base

Заполнение пропусковТекст → текст3 профессии

Многоязычная версия XLM-RoBERTa для TensorFlow, предназначенная прежде всего для предсказания замаскированных слов в тексте.

8 408скачиваний за 30 дней1лайквеса обновлены11 дек 2020

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

jplu/tf-xlm-roberta-base — версия XLM-RoBERTa для TensorFlow, опубликованная пользователем jplu. Это плотная модель с архитектурой XLMRobertaForMaskedLM и примерно 305,2 млн параметров; репозиторий содержит конфигурацию и веса TensorFlow. Модель обучена на корпусе объёмом 2,5 трлн токенов из Common Crawl для 100 языков и предназначена для многоязычных задач, включая заполнение пропусков в тексте.

Основной сценарий применения — предсказание замаскированных токенов в предложении. Контекст модели составляет 514 токенов. README отмечает сильные результаты семейства на межъязыковых тестах, однако не приводит отдельной оценки именно этой версии. Лицензия в предоставленных данных не указана.

Сценарии применения

подстановка пропущенного слова в предложении
сравнение вариантов заполнения маски в многоязычном тексте
получение контекстных представлений текста для межъязыковых экспериментов

Ограничения

Карточка не сообщает результатов оценки этой конкретной версии или условий лицензии; назначение и качество следует проверять для целевых языков и данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Tensorflow XLM-RoBERTa

In this repository you will find different versions of the XLM-RoBERTa model for Tensorflow.

XLM-RoBERTa

XLM-RoBERTa is a scaled cross lingual sentence encoder. It is trained on 2.5T of data across 100 languages data filtered from Common Crawl. XLM-R achieves state-of-the-arts results on multiple cross lingual benchmarks.

Model Weights

Model	Downloads
`jplu/tf-xlm-roberta-base`	`config.json` • `tf_model.h5`
`jplu/tf-xlm-roberta-large`	`config.json` • `tf_model.h5`

Usage

With Transformers >= 2.4 the Tensorflow models of XLM-RoBERTa can be loaded like:

from transformers import TFXLMRobertaModel

model = TFXLMRobertaModel.from_pretrained("jplu/tf-xlm-roberta-base")

model = TFXLMRobertaModel.from_pretrained("jplu/tf-xlm-roberta-large")

Huggingface model hub

All models are available on the Huggingface model hub.

Acknowledgments

Thanks to all the Huggingface team for the support and their amazing library!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры: XLMRobertaForMaskedLM
Ревизия весов: bda462c