Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Библиотека: transformers
Опубликована: 23 ноя 2022

Ссылки

Hugging Face arXiv 1910.10687 arXiv 2007.14271

deepct

macavaney

Разметка токеновТекст → label3 профессии

DeepCT на базе BERT оценивает важность слов в документах, помогая улучшать их представление для информационного поиска.

2 682скачиваний за 30 дней1лайквеса обновлены4 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

macavaney/deepct — модель DeepCT на базе bert-base-uncased, обученная на MS MARCO и подготовленная к использованию в PyTerrier. Она оценивает важность токенов документа для информационного поиска; полученные оценки можно использовать для переписывания документов и повышения качества ранжирования результатов поиска. Модель основана на BERT, содержит 136,7 млн параметров и принимает последовательности длиной до 512 токенов.

Поддерживается английский язык. Это конвертированная в формат PyTorch версия чекпойнта, выпущенного авторами DeepCT; доступны веса PyTorch и safetensors. Условия лицензии в предоставленных данных не приведены.

Сценарии применения

оценка важности токенов в документах для поиска
переписывание документов с учётом важности терминов
подготовка документов к ранжированию в PyTerrier

Ограничения

Модель предназначена для английских документов и ограничена контекстом до 512 токенов. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A DeepCT model based on bert-base-uncased and trained on MS MARCO. This is a version of the checkpoint released by the original authors, converted to pytorch format and ready for use in PyTerrier.

References

[Dai19]: Zhuyun Dai, Jamie Callan. Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval. https://arxiv.org/abs/1910.10687
[Macdonald20]: Craig Macdonald, Nicola Tonellotto. Declarative Experimentation in Information Retrieval using PyTerrier. Craig Macdonald and Nicola Tonellotto. In Proceedings of ICTIR 2020. https://arxiv.org/abs/2007.14271

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: 913f6ed