Дообученная модель BERT-Base классифицирует пассажи для поиска и может служить компонентом ранжирования документов.
26скачиваний за 30 дней0лайковвеса обновлены18 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Capreolus/bert-base-msmarco — модель BERT-Base, дообученная на задаче классификации пассажей MS MARCO. Она предназначена для классификации пар запрос–текст и может использоваться как компонент ранжирования пассажей и документов, в частности для инициализации вариантов BERT-MaxP и PARADE. Модель разработана в рамках проекта Capreolus; исходные веса основаны на google/bert_uncased_L-12-H-768-A-12 и преобразованы из контрольной точки TensorFlow 1.
Архитектура — BertForSequenceClassification с 136,7 млн параметров и контекстом до 512 токенов. Доступны форматы PyTorch, TensorFlow и Flax. Для описанного сценария модель принимает текст и выдаёт оценку класса; её основное назначение — классификация пассажей для поиска и последующего ранжирования. В README приведена ссылка на реализацию BERT-MaxP и рекомендуется цитировать статью PARADE при использовании весов.
оценка пассажей для ранжирования результатов поиска
инициализация модели BERT-MaxP
подготовка базовых весов для вариантов PARADE
Ограничения
Контекст ограничен 512 токенами. Модель предназначена для классификации пассажей; для ранжирования документов её используют как компонент соответствующего конвейера.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
BERT-Base model (google/bert_uncased_L-12_H-768_A-12) fine-tuned on the MS MARCO passage classification task. It is intended to be used as a ForSequenceClassification model; see the Capreolus BERT-MaxP implementation for a usage example.