Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
GPL/msmarco-distilbert-margin-mse — плотная модель эмбеддингов на базе DistilBERT, опубликованная как исходная модель сравнения в работе «GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval». Она предназначена для получения векторных представлений текста и использования в системах плотного поиска, в частности для поиска релевантных документов по запросу.
Модель основана на distilbert-base-uncased и обучена методом Margin-MSE на запросах MS MARCO, релевантных документах и сложных отрицательных примерах; в обучении использовалась оценка учителя cross-encoder/ms-marco-MiniLM-L-6-v2. По метаданным, архитектура — DistilBertModel, формат весов — PyTorch, максимальный контекст — 512 токенов. Название базовой модели указывает на англоязычную настройку; отдельные языки в карточке не заявлены.
Лицензия в предоставленных данных не указана. Модель описана как zero-shot baseline для экспериментов по адаптации плотного поиска между доменами; качество и переносимость за пределами соответствующих сценариев отдельно не подтверждены.
Сценарии применения
поиск релевантных документов по текстовому запросу
получение эмбеддингов запросов и документов для плотного поиска
ранжирование кандидатов по близости векторных представлений
эксперименты по адаптации плотного поиска к новому домену
Ограничения
Контекст ограничен 512 токенами. Карточка описывает модель как zero-shot baseline для исследовательской работы; лицензия и результаты качества в предоставленных данных отсутствуют.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Mine 50 hard negatives for each query on MS MARCO with sentence-transformers/msmarco-distilbert-base-v3 and sentence-transformers/msmarco-MiniLM-L-6-v3;
Do Margin-MSE training on the tuples (including queries, gold relevant, and hard negatives) with the teacher model cross-encoder/ms-marco-MiniLM-L-6-v2 for 70K steps with batch size 75, max. sequence-length 350.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров