Дообученная на MS MARCO модель T5-large для повторного ранжирования поисковых фрагментов и документов по релевантности запросу.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
castorini/monot5-large-msmarco — модель семейства T5-large, разработанная Castorini и дообученная на наборе MS MARCO passage для ранжирования текстовых фрагментов по релевантности запросу. Она предназначена для повторного ранжирования результатов поиска, в том числе пассажей MS MARCO и документов Robust04. Модель содержит 385,2 млн параметров и принимает текст с контекстом до 512 токенов; доступны веса PyTorch и Flax.
Модель полезна как второй этап поисковой системы: она оценивает пары «запрос — документ» и помогает упорядочить найденные результаты. Она обучалась на данных MS MARCO, поэтому качество может зависеть от соответствия целевого корпуса и запросов обучающему домену. Лицензия в предоставленных данных не указана.
Модель дообучена на MS MARCO, поэтому её качество может снижаться на запросах и документах из существенно отличающихся предметных областей. Контекст ограничен 512 токенами.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is a T5-large reranker fine-tuned on the MS MARCO passage dataset for 100k steps (or 10 epochs).
For more details on how to use it, check the following links:
Paper describing the model: Document Ranking with a Pretrained Sequence-to-Sequence Model
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…