Характеристики

Контекст: 512 токенов
Параметры: 4,4 млн
Архитектура: bert · dense

Ссылки

Hugging Face arXiv 1908.08962 arXiv 2110.01518

bert-tiny-mnli

prajjwal1

Классификация текстаТекст → label3 профессии

Компактная BERT-модель, обученная на MNLI для классификации текста и задач вывода по естественному языку.

1 010скачиваний за 30 дней4лайкавеса обновлены5 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

prajjwal1/bert-tiny-mnli — компактная модель классификации текста на архитектуре BERT, опубликованная Prajjwal Bhargava. Вариант BERT был преобразован из контрольной точки TensorFlow из официального репозитория Google BERT, а затем обучен на MNLI в течение четырёх эпох; в репозитории представлены веса PyTorch и Flax. Модель содержит около 4,4 млн параметров и принимает последовательности длиной до 512 токенов.

Модель предназначена для классификации текста, в частности для задач вывода по естественному языку (NLI), где требуется оценить связь между посылкой и гипотезой. Компактный размер делает её подходящей для экспериментов и сценариев, где важны небольшие вычислительные затраты. Лицензия в предоставленных данных не указана.

Сценарии применения

оценка логической связи между посылкой и гипотезой
классификация текстовых пар для задач NLI
эксперименты с компактными моделями классификации текста

Ограничения

Обучение на MNLI ориентирует модель на задачи вывода по естественному языку, поэтому её качество для других видов классификации не подтверждено предоставленными данными. Языковая поддержка и лицензия в доступных сведениях не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The following model is a Pytorch pre-trained model obtained from converting Tensorflow checkpoint found in the official Google BERT repository. These BERT variants were introduced in the paper Well-Read Students Learn Better: On the Importance of Pre-training Compact Models. These models are trained on MNLI.

If you use the model, please consider citing the paper

@misc{bhargava2021generalization,
      title={Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics}, 
      author={Prajjwal Bhargava and Aleksandr Drozd and Anna Rogers},
      year={2021},
      eprint={2110.01518},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Original Implementation and more info can be found in this Github repository.

MNLI: 60%
MNLI-mm: 61.61%

These models were trained for 4 epochs.

@prajjwal_1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 3488cd7