Экспериментальный чекпойнт RoBERTa на 151,8 млн параметров для предсказания замаскированных фрагментов текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NbAiLab/roberta_des_512 — экспериментальный чекпойнт модели RoBERTa для заполнения пропусков в тексте. В метаданных указаны архитектура RobertaForMaskedLM, 151,8 млн параметров и контекст длиной 514 токенов; доступны веса в форматах PyTorch, Flax и safetensors.
Карточка описывает эксперименты с обучением: автор сообщает о росте функции потерь, восстановлении чекпойнта и повторном запуске обучения. Модель предназначена для экспериментов с задачей fill-mask, а README прямо предостерегает от использования. Лицензия в предоставленных данных не указана.
README сообщает о росте функции потерь и не рекомендует использовать модель; результаты обучения могут быть нестабильными. Языковая специализация и лицензия в предоставленных данных не обозначены.
README от автора на Hugging Face, как он его опубликовал
Just for performing some experiments. Do not use.
Since the loss seem to start going up, I did have to restore this from 9e945cb0636bde60bec30bd7df5db30f80401cc7 (2 step 600k/200). I am then restarting with warmup decaying from 1e-4.
That did failed. Checked out c94b5bb43b05fc798f9db013d940b05b3b47cd98 instead and restarted step 3 from here.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…