Характеристики

Контекст: 512 токенов
Параметры: 49,2 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 15 мар 2023

Ссылки

Hugging Face arXiv 1908.08962

bert-medium

lyeonii

ЭмбеддингиТекст → embedding

Англоязычная модель BERT-Medium извлекает контекстные представления текста и доступна в формате PyTorch.

19скачиваний за 30 дней0лайковвеса обновлены15 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Эмбеддинги» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

lyeonii/bert-medium — англоязычная версия BERT-Medium без учёта регистра, созданная на основе моделей google-research/bert. Репозиторий содержит преобразованные из TensorFlow в PyTorch веса; архитектура — BERT, около 49,2 млн параметров, контекст — до 512 токенов. Модель предназначена для извлечения признаков из текста и получения контекстных представлений слов и последовательностей, которые можно использовать в последующих задачах NLP.

В карточке приведены результаты оценки на задаче MRPC: F1 83,33 и accuracy 73,53. Модель обучалась для английского языка с токенизацией WordPiece и не различает регистр. Лицензия — MIT. Это преобразование официального чекпойнта в формат PyTorch, а не новое дообучение.

Сценарии применения

получение векторных представлений английских текстов
извлечение признаков для классификатора текста
подготовка контекстных представлений слов и предложений
эксперименты и прототипирование NLP-систем на BERT

Ограничения

Поддерживается только английский язык; модель без учёта регистра и имеет предел контекста 512 токенов. В README приведена оценка только для MRPC, поэтому результаты не характеризуют качество на других задачах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERT-Medium (uncased)

This is one of 24 smaller BERT models (English only, uncased, trained with WordPiece masking) released by google-research/bert.

These BERT models was released as TensorFlow checkpoints, however, this is the converted version to PyTorch. More information can be found in google-research/bert or lyeoni/convert-tf-to-pytorch.

Evaluation

Here are the evaluation scores (F1/Accuracy) for the MPRC task.

Model	MRPC
BERT-Tiny	81.22/68.38
BERT-Mini	81.43/69.36
BERT-Small	81.41/70.34
BERT-Medium	83.33/73.53
BERT-Base	85.62/78.19

References

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: BertModel
Ревизия весов: 06a579d