This model is a T5-3B reranker fine-tuned on the MS MARCO passage dataset for 100k steps (or 10 epochs).
For more details on how to use it, check pygaggle.ai
Paper describing the model: Document Ranking with a Pretrained Sequence-to-Sequence Model
monot5-3b-msmarco
MonoT5 — дообученная на MS MARCO модель T5 для переранжирования поисковых фрагментов по релевантности запросу.
171скачиваний за 30 дней2лайкавеса обновлены3 апр 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это модель MonoT5, разработанная Castorini: вариант T5, дообученный на наборе MS MARCO Passage в течение 100 тысяч шагов (примерно 10 эпох) для переранжирования текстовых фрагментов. Она предназначена для оценки релевантности найденных отрывков запросу и их сортировки в поисковых системах и системах ответа на вопросы. В основе — архитектура T5; модель работает с текстом, а указанный для неё контекст составляет 512 токенов.
MonoT5 можно применять для повторного ранжирования результатов первичного поиска, например, передавать ей запрос и найденные документы, чтобы повысить релевантность верхних результатов. README ссылается на статью «Document Ranking with a Pretrained Sequence-to-Sequence Model» и библиотеку PyGaggle с примерами использования. Репозиторий содержит веса PyTorch; в метаданных указано 385,2 млн параметров. Язык данных для дообучения в предоставленной карточке не обозначен, поэтому языковая поддержка не уточняется. Условия лицензии в предоставленных данных не описаны.
Сценарии применения
- переранжирование отрывков, найденных поисковой системой
- сортировка документов по релевантности запросу
- улучшение верхних результатов поиска
- ранжирование контекстных фрагментов для системы ответов на вопросы
Ограничения
Контекст ограничен 512 токенами, поэтому длинные документы могут потребовать разбиения на фрагменты. Лицензия и языковой охват в предоставленных данных не указаны.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделейI.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- T5Model
- Ревизия весов
- c8432e9