Характеристики

Контекст: 514 токенов
Параметры: 138 млн
Архитектура: camembert · dense

Ссылки

roberta_s2orc_bpe_32k

Заполнение пропусковТекст → текст3 профессии

RoBERTa-модель Nelson Liu, адаптированная к англоязычным научным текстам S2ORC для предсказания замаскированных токенов.

538скачиваний за 30 дней0лайковвеса обновлены8 дек 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nfliu/roberta_s2orc_bpe_32k — модель Nelson Liu на базе RoBERTa, опубликованная в Hugging Face. Она предназначена для заполнения замаскированных фрагментов текста и предварительного обучения или адаптации NLP-систем на научных публикациях из корпуса S2ORC (Semantic Scholar Open Research Corpus), содержащего англоязычные академические статьи из различных дисциплин. Модель использует архитектуру трансформера с 137,8 млн параметров, специализированный BPE-токенизатор с размером словаря 32k и поддерживает контекст до 514 токенов. В метаданных также указана совместимость с Transformers и PyTorch.

Сценарии применения

восстановление пропущенных слов в научных статьях
предобучение NLP-моделей на научной лексике
адаптация моделей для анализа академических публикаций
проверка вероятных продолжений фрагментов научного текста

Ограничения

Модель предназначена для предсказания замаскированных токенов и не является самостоятельной генеративной или диалоговой моделью. Максимальная длина контекста ограничена 514 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: CamembertForMaskedLM
Ревизия весов: 2155bfb