Экспериментальная модель RobertaPreLayerNorm на 454,1 млн параметров для предсказания замаскированных токенов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это исправленная копия чекпойнта andreasmadsen/efficient_mlm_m0.15 для эксперимента «Should You Mask 15% in Masked Language Modeling». Модель разработана на основе оригинального чекпойнта princeton-nlp/efficient_mlm_m0.15; в этой версии устранены неиспользуемые веса и применена архитектура RobertaPreLayerNorm из библиотеки Transformers.
Модель предназначена для заполнения масок в тексте: она предсказывает пропущенный токен по окружающему контексту. Чекпойнт содержит 454,1 млн параметров, поддерживает контекст до 514 токенов и опубликован в форматах PyTorch и TensorFlow.
Карточка не указывает лицензию или конкретные поддерживаемые естественные языки. Это экспериментальный чекпойнт, связанный с исследовательской работой; пригодность для прикладного использования и качество на отдельных языках по карточке не установлены.
Карточка не сообщает о поддерживаемых языках и лицензии, а также не приводит оценок качества. Чекпойнт создан для исследовательской работы и может требовать проверки перед прикладным использованием.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a model checkpoint for "Should You Mask 15% in Masked Language Modeling" (code).
The original checkpoint is avaliable at princeton-nlp/efficient_mlm_m0.15. Unfortunately this checkpoint depends on code that isn't part of the official transformers
library. Additionally, the checkpoints contains unused weights due to a bug.
This checkpoint fixes the unused weights issue and uses the RobertaPreLayerNorm model from the transformers
library.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…