Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Опубликована: 18 окт 2022

Ссылки

RetroMAE

Заполнение пропусковТекст → текст7 профессий

RetroMAE — BERT-подобная модель, предобученная методом masked auto-encoder для построения retrieval-ориентированных текстовых представлений и плотного поиска.

359скачиваний за 30 дней6лайковвеса обновлены18 окт 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Shitao/RetroMAE — предобученная языковая модель, разработанная авторами RetroMAE: Shitao Xiao, Zheng Liu, Yingxia Shao и Zhao Cao. Она основана на BERT-подобном трансформере и предназначена для задач поиска и семантического сопоставления текстов, а также для дальнейшего обучения плотных ретриверов. В исходной архитектуре используется асимметричная схема masked auto-encoder: полноразмерный трансформер-энкодер и однос layer-трансформер-декодер.

Модель содержит около 136,7 млн параметров, работает с контекстом до 512 токенов и доступна через Transformers как masked language model для задачи fill-mask.

Сценарии применения

предобучение плотного поискового энкодера
семантический поиск по коллекции документов
поиск релевантных пассажей для RAG
сопоставление поисковых запросов и документов
заполнение пропусков в англоязычном тексте

Ограничения

Базовый чекпойнт предназначен прежде всего для дальнейшего обучения или адаптации к retrieval-задачам; для готового прикладного поиска могут потребоваться дообучение и специализированная обвязка. Максимальная длина входа составляет 512 токенов.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: b073144