Характеристики

Контекст: 512 токенов
Параметры: 4,4 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Опубликована: 2 июл 2022

Ссылки

Hugging Face arXiv 1908.08962

bert-tiny-uncased

gaunernst

Заполнение пропусковТекст → текст3 профессии

Компактная англоязычная модель BERT-Tiny для предсказания скрытых токенов в тексте.

354скачиваний за 30 дней6лайковвеса обновлены25 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gaunernst/bert-tiny-uncased — компактная англоязычная модель BERT для заполнения пропусков в тексте. Это вариант BERT-Tiny с 2 слоями и скрытым размером 128; в репозитории размещена конверсия чекпойнта Google BERT в форматах PyTorch и safetensors. Модель содержит около 4,4 млн параметров и принимает последовательности длиной до 512 токенов.

Модель подходит для предсказания скрытого токена по окружающему контексту, например для языковых экспериментов и простых задач восстановления слов. В карточке отмечено, что неизвестно, проходили ли исходные чекпойнты дистилляцию, поэтому происхождение этой версии нельзя уверенно считать дообучением или дистилляцией. Лицензия — Apache-2.0.

Сценарии применения

восстановление пропущенного слова в английском предложении
подбор вероятного токена по контексту
эксперименты с задачей заполнения маски
учебные демонстрации работы BERT

Ограничения

Модель рассчитана на короткий контекст до 512 токенов и имеет существенно меньший размер, чем стандартные варианты BERT. В карточке не подтверждено, применялась ли к исходным чекпойнтам дистилляция.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERT Tiny (uncased)

Mini BERT models from https://arxiv.org/abs/1908.08962 that the HF team didn't convert. The original conversion script is used.

See the original Google repo: google-research/bert

Note: it's not clear if these checkpoints have undergone knowledge distillation.

Model variants

	H=128	H=256	H=512	H=768
L=2	2/128 (BERT-Tiny)	2/256	2/512	2/768
L=4	4/128	4/256 (BERT-Mini)	4/512 (BERT-Small)	4/768
L=6	6/128	6/256	6/512	6/768
L=8	8/128	8/256	8/512 (BERT-Medium)	8/768
L=10	10/128	10/256	10/512	10/768
L=12	12/128	12/256	12/512	12/768 (BERT-Base, original)

Usage

See other BERT model cards e.g. https://huggingface.co/bert-base-uncased

Citation

@article{turc2019,
  title={Well-Read Students Learn Better: On the Importance of Pre-training Compact Models},
  author={Turc, Iulia and Chang, Ming-Wei and Lee, Kenton and Toutanova, Kristina},
  journal={arXiv preprint arXiv:1908.08962v2 },
  year={2019}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: acfe705