Характеристики

Контекст: 512 токенов
Параметры: 49,2 млн
Архитектура: bert · dense

Ссылки

Hugging Face arXiv 1908.08962 arXiv 2110.01518

bert-medium-mnli

prajjwal1

Классификация текстаТекст → label4 профессии

Компактная модель BERT, дообученная на MNLI для классификации текста и задач естественного языкового вывода.

12 790скачиваний за 30 дней1лайквеса обновлены5 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

prajjwal1/bert-medium-mnli — компактная модель классификации текста на основе BERT, опубликованная Prajjwal Bhargava. Веса получены преобразованием TensorFlow-чекпойнта из официального репозитория Google BERT; варианты BERT описаны в работе о компактных предобученных моделях. Эта версия дообучена на наборе MNLI в течение четырёх эпох и предназначена для классификации текстовых последовательностей, в частности для задач естественного языкового вывода и определения связи между посылкой и гипотезой.

Модель содержит около 49,2 млн параметров, использует архитектуру BertForSequenceClassification и принимает последовательности длиной до 512 токенов. Репозиторий содержит веса PyTorch и Flax. Карточка не сообщает лицензию и не перечисляет поддерживаемые языки, поэтому применимость к конкретному языку следует проверять отдельно. Модель основана на BERT и обучалась на MNLI; возможны ошибки на примерах, отличающихся от этого набора данных или содержащих эвристические ловушки.

Сценарии применения

определение, следует ли гипотеза из текста-посылки
классификация отношений между двумя предложениями
оценка семантического сходства или противоречия текстов в формате NLI

Ограничения

Обучение на MNLI может ограничивать качество на других задачах и распределениях данных; в исследовании по NLI отмечаются риски эвристических ошибок. Поддерживаемые языки и лицензия в предоставленных источниках не установлены.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The following model is a Pytorch pre-trained model obtained from converting Tensorflow checkpoint found in the official Google BERT repository. These BERT variants were introduced in the paper Well-Read Students Learn Better: On the Importance of Pre-training Compact Models. These models are trained on MNLI.

If you use the model, please consider citing the paper

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Original Implementation and more info can be found in this Github repository.

MNLI: 75.86%
MNLI-mm: 77.03%

These models are trained for 4 epochs.

@prajjwal_1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 82e4a31