Экспериментальный чекпойнт RoBERTa на 151,8 млн параметров для восстановления замаскированных слов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NbAiLab/roberta_des_128 — экспериментальный чекпойнт семейства RoBERTa для задачи заполнения маски в тексте. Модель содержит 151,8 млн параметров, использует архитектуру RobertaForMaskedLM и принимает последовательности длиной до 514 токенов. В репозитории представлены веса в формате Flax.
Автор описывает чекпойнт как предназначенный для экспериментов и прямо предостерегает от использования. В README также указано, что обучение прерывалось из-за ошибок памяти, после чего его продолжили на изменённом корпусе; приведён промежуточный результат обучения, но нет сведений о качестве на прикладных задачах. Подходит для экспериментов с восстановлением замаскированных слов и продолжением предобучения. Язык корпуса, лицензия и конкретные условия использования в предоставленных данных не раскрыты.
Чекпойнт обозначен автором как экспериментальный и не рекомендован для использования; обучение прерывалось из-за ошибок памяти, а данных о прикладном качестве нет.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Just for performing some experiments. Do not use.
This needed to be restarted at 100k. I am getting memory errors at the end of the epoch. Not really sure why.
Step 2 is therefore on train_2__4. Static learning rate for a while. The first 100k ended at 0.59. This is decent so early. No point in running more epochs here though. Changing the corpus and continue training.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
В репозитории нет весов в формате PyTorch/safetensors.