/ Модель

Характеристики

Контекст
514 токенов
Параметры
110 млн
Лицензия
MIT
Архитектура
xlm-roberta · dense

mMiniLM-L6-v2-mmarco-v2

Классификация текстаТекст → label7 профессий

Мультиязычная модель ранжирования текстовых фрагментов, дообученная на переводном наборе mMARCO для поиска релевантных passages по запросу.

933скачиваний за 30 дней5лайковвеса обновлены5 янв 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mMiniLM-L6-v2-mmarco-v2 — мультиязычная модель на основе MiniLM, дообученная командой Unicamp-DL на версии набора MS MARCO Passage Ranking на девяти языках. Набор mMARCO содержит переведённые с английского passages; для версии v2 использовался Google Translate.

Модель предназначена для оценки текстовых фрагментов в задачах поиска и ранжирования passages по запросу. Её можно применять для сортировки найденных документов по релевантности и построения мультиязычного поиска. Архитектура в метаданных указана как XLM-RoBERTa Sequence Classification, размер — 110,2 млн параметров, максимальный контекст — 514 токенов. Модель доступна в формате PyTorch по лицензии MIT.

Обучение на автоматически переведённых данных может влиять на качество для языков и формулировок, отличающихся от обучающего набора; контекст ограничен 514 токенами.

Сценарии применения

  • ранжирование passages в результатах мультиязычного поиска
  • переранжирование документов по релевантности запросу
  • поиск ответов в коллекции текстовых фрагментов
  • оценка релевантности пар «запрос — passage»

Ограничения

Обучающие passages были автоматически переведены с английского, что может снижать качество на естественных формулировках и доменах, отличающихся от обучающих данных. Контекст ограничен 514 токенами.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mMiniLM-L6-v2 Reranker finetuned on mMARCO

Introduction

mMiniLM-L6-v2-mmarco-v2 is a multilingual miniLM-based model finetuned on a multilingual version of MS MARCO passage dataset. This dataset, named mMARCO, is formed by passages in 9 different languages, translated from English MS MARCO passages collection. In the v2 version, the datasets were translated using Google Translate. Further information about the dataset or the translation method can be found on our mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset and mMARCO repository.

Usage

from transformers import AutoTokenizer, AutoModel

model_name = 'unicamp-dl/mMiniLM-L6-v2-mmarco-v2'
tokenizer  = AutoTokenizer.from_pretrained(model_name)
model      = AutoModel.from_pretrained(model_name)

Citation

If you use mMiniLM-L6-v2-mmarco-v2, please cite:

@misc{bonifacio2021mmarco,
  title={mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset}, 
  author={Luiz Henrique Bonifacio and Vitor Jeronymo and Hugo Queiroz Abonizio and Israel Campiotti and Marzieh Fadaee and  and Roberto Lotufo and Rodrigo Nogueira},
  year={2021},
  eprint={2108.13897},
  archivePrefix={arXiv},
  primaryClass={cs.CL}

}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
XLMRobertaForSequenceClassification
Ревизия весов
8ed6820

0 моделей