Характеристики

Контекст: 512 токенов
Параметры: 12 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 июл 2022

Ссылки

Hugging Face arXiv 1908.08962

bert-mini-uncased

gaunernst

Заполнение пропусковТекст → текст3 профессии

Компактная англоязычная модель BERT для предсказания пропущенных токенов в тексте.

9 386скачиваний за 30 дней0лайковвеса обновлены26 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gaunernst/bert-mini-uncased — компактная англоязычная модель семейства BERT, опубликованная gaunernst на Hugging Face на основе чекпойнта из репозитория Google Research BERT. Вариант BERT-Mini имеет 4 слоя и скрытый размер 256; модель содержит около 12 млн параметров и принимает последовательности длиной до 512 токенов.

Модель предназначена для заполнения пропусков в тексте: она предсказывает токен на месте маски. Это может быть полезно для дополнения фраз и простых задач языкового моделирования на английском языке. В карточке указаны датасеты BookCorpus и Wikipedia. Чекпойнт преобразован оригинальным скриптом конвертации; в README отмечено, что наличие дистилляции неясно.

Файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Компактный размер облегчает использование модели, однако её возможности ограничены задачей заполнения масок; карточка не заявляет поддержку диалога или генерации произвольного продолжения текста.

Сценарии применения

подстановка пропущенного слова в английском предложении
получение вероятных вариантов для маскированного токена
демонстрация работы BERT в учебных проектах

Ограничения

Модель предназначена для заполнения масок и не заявлена как чат-модель или модель генерации произвольного текста. В README отмечено, что неизвестно, проходили ли чекпойнты дистилляцию.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERT Mini (uncased)

Mini BERT models from https://arxiv.org/abs/1908.08962 that the HF team didn't convert. The original conversion script is used.

See the original Google repo: google-research/bert

Note: it's not clear if these checkpoints have undergone knowledge distillation.

Model variants

	H=128	H=256	H=512	H=768
L=2	2/128 (BERT-Tiny)	2/256	2/512	2/768
L=4	4/128	4/256 (BERT-Mini)	4/512 (BERT-Small)	4/768
L=6	6/128	6/256	6/512	6/768
L=8	8/128	8/256	8/512 (BERT-Medium)	8/768
L=10	10/128	10/256	10/512	10/768
L=12	12/128	12/256	12/512	12/768 (BERT-Base, original)

Usage

See other BERT model cards e.g. https://huggingface.co/bert-base-uncased

Citation

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 0772d26