BERT-модель NASA IMPACT, дообученная на научных публикациях о Земле для предсказания пропущенных слов в таких текстах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
NASA IMPACT BERT-E — модель на архитектуре BERT, разработанная NASA IMPACT и дообученная на базе allenai/scibert_scivocab_uncased с помощью masked language modeling. Для обучения использовались аннотации к примерно 270 000 публикаций по наукам о Земле; токенизатор обучен на том же корпусе. Модель предназначена для подстановки пропущенных токенов и языкового анализа текстов по наукам о Земле. Она содержит 137,1 млн параметров и поддерживает контекст до 512 токенов.
Модель подходит для заполнения пропусков в научных аннотациях и адаптации к последующим задачам обработки текстов о Земле. В README указано, что тестирование на downstream-задачах и расширение обучающих данных ещё планировались. Лицензия в предоставленных данных не указана.
В README указано, что оценка на последующих прикладных задачах ещё планировалась. Предоставленные данные не содержат сведений о лицензии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is further trained on top of scibert-base using masked language modeling loss (MLM). The corpus is roughly abstracts from 270,000 earth science-based publications.
The tokenizer used is AutoTokenizer, which is trained on the same corpus.
Stay tuned for further downstream task tests and updates to the model.
in the works
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…