Характеристики

Контекст: 512 токенов
Параметры: 4 200
Размер весов: 1 МБ
Архитектура: bert · dense

Ссылки

bert-xsmall-dummy

Заполнение пропусковТекст → текст3 профессии

julien-c/bert-xsmall-dummy — демонстрационная чрезвычайно малая модель на архитектуре BERT, опубликованная пользователем или организацией с идентификатором julien-c.

32 938скачиваний за 30 дней0лайковвеса обновлены19 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена прежде всего для тестирования, примеров и проверки совместимости библиотек Transformers, а не для решения прикладных задач обработки естественного языка. В README показано создание модели BertForMaskedLM и её сохранение в форматах PyTorch и TensorFlow.

Конфигурация включает словарь из 10 токенов, скрытое представление размером 20, один скрытый слой, одну attention head и промежуточный размер слоя 40. Модель поддерживает задачу masked language modeling; сведения о фактическом токенизаторе, языках, размере контекста, качестве, обучающих данных и результатах тестирования не приведены. Ключевое преимущество — минимальный размер, удобный для быстрых тестов и разработки. Из-за игрушечной конфигурации модель не предназначена для качественного анализа текста. Лицензия в README не указана.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

How to build a dummy model

from transformers BertConfig, BertForMaskedLM, BertTokenizer, TFBertForMaskedLM

SMALL_MODEL_IDENTIFIER = "julien-c/bert-xsmall-dummy"
DIRNAME = "./bert-xsmall-dummy"

config = BertConfig(10, 20, 1, 1, 40)

model = BertForMaskedLM(config)
model.save_pretrained(DIRNAME)

tf_model = TFBertForMaskedLM.from_pretrained(DIRNAME, from_pt=True)
tf_model.save_pretrained(DIRNAME)

# Slightly different for tokenizer.
# tokenizer = BertTokenizer.from_pretrained(DIRNAME)
# tokenizer.save_pretrained()

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 9d3811d