/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Опубликована
4 янв 2023

wiki-all-8-4-multi-dpr2-query-encoder

ЭмбеддингиТекст → embedding4 профессии

Энкодер запросов на базе BERT для векторного поиска по Wikipedia и систем ответов на вопросы с использованием DPR.

13 990скачиваний за 30 дней0лайковвеса обновлены5 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

castorini/wiki-all-8-4-multi-dpr2-query-encoder — энкодер запросов для плотного поиска по корпусу Wikipedia, разработанный Castorini. Модель относится к семейству BERT, содержит 136,7 млн параметров и принимает текстовые запросы; максимальная длина контекста — 512 токенов. Репозиторий содержит веса в формате Flax.

Это часть второй версии модели Dense Passage Retriever (DPR), обученной с помощью Tevatron на объединённых наборах NQ, TriviaQA, WQ и CuratedTREC и варианте корпуса Wikipedia wiki-all-8-4. Энкодер преобразует запросы в векторные представления для поиска релевантных фрагментов и систем ответов на вопросы по открытым знаниям. Подходит для использования как запросная сторона DPR-поиска; README не описывает отдельные гарантии качества или условия лицензирования.

Сценарии применения

  • Преобразование вопроса в эмбеддинг для поиска по Wikipedia
  • Поиск релевантных фрагментов для open-domain question answering
  • Построение поискового компонента DPR для корпуса wiki-all-8-4

Ограничения

Это только энкодер запросов, обученный для варианта корпуса Wikipedia wiki-all-8-4; для полноценного DPR-поиска нужны индексированные фрагменты и совместимый энкодер документов. Контекст ограничен 512 токенами; сведения о лицензии в предоставленных материалах отсутствуют.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Dense passage retriever (DPR) is a dense retrieval method described in the following paper:

Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6769-6781, 2020.

We have trained our own DPR models with our Wikipedia corpus variants using the Tevatron library.

Our own efforts are described in the paper entitled:

Pre-Processing Matters! Improved Wikipedia Corpora for Open-Domain Question Answering.

This is the query encoder portion of a 2nd iteration DPR model for the wiki-all-8-4 corpus variant trained on the amalgamation of the NQ, TriviaQA, WQ, and CuratedTREC datasets.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры
BertModel
Ревизия весов
52effb8

0 моделей