Характеристики

Контекст: 2 048 токенов
Архитектура: nomic_bert · dense
Базовая модель: xlm-roberta-base
Библиотека: transformers
Опубликована: 16 ноя 2024

Ссылки

nomic-xlm-2048

Заполнение пропусковТекст → текст6 профессий

Мультиязычный текстовый энкодер на базе XLM-RoBERTa с RoPE и контекстом до 2048 токенов для восстановления маскированных слов и последующего дообучения на NLP-задачи.

517скачиваний за 30 дней8лайковвеса обновлены12 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nomic-xlm-2048 — мультиязычный энкодер текста от Nomic AI, дообученный на основе FacebookAI/xlm-roberta-base. В модели заменены обучаемые позиционные эмбеддинги на RoPE; она обучалась 10 тысяч шагов на CC100 и поддерживает контекст до 2048 токенов. Размер — около 278 млн параметров.

Модель предназначена для восстановления замаскированных слов и как основа для последующего дообучения под классификацию последовательностей и другие задачи понимания текста. В README приведены результаты на GLUE и XTREME-R, где модель показывает конкурентоспособное качество среди мультиязычных энкодеров. Метаданные также указывают поддержку классификации текста, выбора ответа, ответов на вопросы и разметки токенов.

Модель принимает и выдаёт текст; она не является генеративным чат-ассистентом. README и метаданные не содержат сведений о лицензии, поэтому условия использования здесь определить нельзя.

Сценарии применения

восстановление замаскированных слов в мультиязычном тексте
классификация последовательностей после дообучения
классификация отдельных токенов и разметка сущностей
ответы на вопросы по тексту
оценка понимания текста на мультиязычных бенчмарках

Ограничения

Это энкодер, а не модель для свободной генерации текста или диалога. Для задач классификации и других downstream-сценариев обычно требуется дообучение; сведения о лицензии в использованных источниках отсутствуют.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

nomic-xlm-2048: XLM-Roberta Base with RoPE

nomic-xlm-2048 is a finetuned XLM-Roberta Base model with learned positional embeddings swapped for RoPE and trained for 10k steps on CC100.

nomic-xlm-2048 performs competitively to other multilingual encoders on GLUE and XTREME-R

Model	Params	Pos.	Seq.	Avg.	CoLA	SST-2	MRPC	STS-B	QQP	MNLI	QNLI	RTE
XLM-R-Base	279M	Abs.	512	82.35	46.95	92.54	87.37	89.32	90.69	84.34	90.35	77.26
nomic-xlm-2048	278M	RoPE	2048	81.63	44.69	91.97	87.50	88.48	90.38	83.59	89.38	76.54
mGTE-Base	306M	RoPE	8192	80.77	27.22	91.97	89.71	89.55	91.20	85.16	90.91	80.41

Model	Avg.	XNLI	XCOPA	UDPOS	WikiANN	XQuAD	MLQA	TyDiQA-GoldP	Mewsli-X	LAReQA	Tatoeba
XLM-R-Base	62.31	74.49	51.8	74.33	60.99	72.96	61.45	54.31	42.45	63.49	66.79
nomic-xlm-2048	62.70	73.57	61.71	74.92	60.96	71.13	59.61	43.46	45.27	67.49	70.82
mGTE-Base	64.63	73.58	63.62	73.52	60.72	74.71	63.88	49.68	44.58	71.90	70.07

Usage

from transformers import AutoModelForMaskedLM, AutoConfig, AutoTokenizer, pipeline

tokenizer = AutoTokenizer.from_pretrained('nomic-ai/nomic-xlm-2048') # `nomic-bert-2048` uses the standard BERT tokenizer

config = AutoConfig.from_pretrained('nomic-ai/nomic-xlm-2048', trust_remote_code=True) # the config needs to be passed in
model = AutoModelForMaskedLM.from_pretrained('nomic-ai/nomic-xlm-2048',config=config, trust_remote_code=True)

# To use this model directly for masked language modeling
classifier = pipeline('fill-mask', model=model, tokenizer=tokenizer,device="cpu")

print(classifier("I [MASK] to the store yesterday."))

To finetune the model for a Sequence Classification task, you can use the following snippet

from transformers import AutoConfig, AutoModelForSequenceClassification
model_path = "nomic-ai/nomic-xlm-2048"
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
# strict needs to be false here since we're initializing some new params
model = AutoModelForSequenceClassification.from_pretrained(model_path, config=config, trust_remote_code=True, strict=False)

Join the Nomic Community

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: NomicBertForPreTraining
Ревизия весов: 6c1a932