/ Модель

Характеристики

Контекст
514 токенов
Параметры
114 млн
Лицензия
gpl
Архитектура
roberta · dense
Опубликована
22 апр 2023

SELFormer

Заполнение пропусковТекст → текст3 профессии

SELFormer — модель RoBERTa для предсказания пропущенных токенов в тексте.

684скачиваний за 30 дней8лайковвеса обновлены24 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SELFormer — языковая модель на архитектуре RoBERTa с 113,9 млн параметров, опубликованная HUBioDataLab. Она предназначена для заполнения масок: модель предсказывает пропущенные токены в тексте. Репозиторий содержит веса PyTorch; контекст модели составляет 514 токенов.

Модель можно применять для восстановления пропусков в тексте и получения контекстных представлений для задач, основанных на маскированном языковом моделировании. README не содержит дополнительных сведений о специализированной области или языках обучения. Лицензия репозитория — GPL.

Сценарии применения

  • предсказание пропущенного слова в предложении
  • восстановление замаскированных токенов в тексте
  • проверка контекстуально подходящих вариантов слова

Ограничения

Контекст ограничен 514 токенами; сведения о поддерживаемых языках и специализированных сценариях в предоставленных данных отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Citation

For the paper:

@misc{yüksel2023selformer,
      title={SELFormer: Molecular Representation Learning via SELFIES Language Models}, 
      author={Atakan Yüksel and Erva Ulusoy and Atabey Ünlü and Gamze Deniz and Tunca Doğan},
      year={2023},
      eprint={2304.04662},
      archivePrefix={arXiv},
      primaryClass={q-bio.QM}
}

License

Copyright (C) 2023 HUBioDataLab

This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.

This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

You should have received a copy of the GNU General Public License along with this program. If not, see http://www.gnu.org/licenses/.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForMaskedLM
Ревизия весов
177d98b

0 моделей