/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense
Опубликована
4 янв 2023

wiki-all-8-4-multi-dpr2-passage-encoder

ЭмбеддингиТекст → embedding5 профессий

Энкодер Castorini на базе BERT преобразует фрагменты Википедии в векторы для плотного поиска и систем ответов на вопросы.

6 397скачиваний за 30 дней0лайковвеса обновлены5 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это плотный энкодер фрагментов текста для поиска по Википедии, разработанный командой Castorini. Модель построена на архитектуре BERT и обучена с помощью библиотеки Tevatron как часть второй итерации Dense Passage Retrieval для варианта корпуса wiki-all-8-4; размер составляет 136,7 млн параметров, максимальная длина входа — 512 токенов. В репозитории представлены веса Flax.

Модель предназначена для преобразования текстовых фрагментов в векторные представления, которые можно использовать для поиска релевантных документов и ответов на вопросы по открытым источникам. Обучение проводилось на объединении наборов NQ, TriviaQA, WQ и CuratedTREC с корпусом Википедии. Для полноценного DPR-поиска обычно требуется соответствующий энкодер запросов и система векторного поиска; эта модель кодирует именно passages. Лицензия в предоставленных данных не указана.

Сценарии применения

  • векторизация фрагментов Википедии для поискового индекса
  • поиск релевантных пассажей для ответа на вопрос
  • построение системы открытого поиска ответов
  • извлечение документов из коллекции NQ, TriviaQA, WQ или CuratedTREC

Ограничения

Энкодер предназначен для passages; для полного поискового контура обычно нужен совместимый энкодер запросов и индекс векторного поиска. Контекст ограничен 512 токенами.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Dense passage retriever (DPR) is a dense retrieval method described in the following paper:

Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih. Dense Passage Retrieval for Open-Domain Question Answering. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 6769-6781, 2020.

We have trained our own DPR models with our Wikipedia corpus variants using the Tevatron library.

Our own efforts are described in the paper entitled:

Pre-Processing Matters! Improved Wikipedia Corpora for Open-Domain Question Answering.

This is the passage encoder portion of a 2nd iteration DPR model for the wiki-all-8-4 corpus variant trained on the amalgamation of the NQ, TriviaQA, WQ, and CuratedTREC datasets.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет весов в формате PyTorch/safetensors.

Класс архитектуры
BertModel
Ревизия весов
c35d4e8

0 моделей