Характеристики

Контекст: 512 токенов
Параметры: 79,7 млн
Архитектура: deberta · dense
Опубликована: 14 июл 2022

Ссылки

Hugging Face

DNADebertaBPE30k

simecek

Заполнение пропусковТекст → текст

Дообученная DeBERTa-модель для предсказания скрытых токенов в последовательностях ДНК.

100скачиваний за 30 дней0лайковвеса обновлены15 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DNADebertaBPE30k — модель семейства DeBERTa с архитектурой DebertaForMaskedLM, содержащая 79,7 млн параметров. Она предназначена для заполнения пропусков в последовательностях ДНК: по контексту предсказывает скрытые токены. Модель принимает текстовые токенизированные последовательности и выдаёт текстовые предсказания; максимальная длина контекста составляет 512 токенов. В карточке указано дообучение, но базовая модель, обучающий датасет и подробности применения не приведены. Модель представлена в формате PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

предсказание пропущенных фрагментов последовательности ДНК
восстановление маскированных токенов в геномных последовательностях
анализ контекста нуклеотидных последовательностей

Ограничения

Карточка не раскрывает базовую модель, обучающий датасет и подробные ограничения применения. Контекст ограничен 512 токенами; приведённое значение eval_loss само по себе не позволяет оценить качество на практических задачах.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DNADebertaBPE30k

This model is a fine-tuned version of on the None dataset. It achieves the following results on the evaluation set:

eval_loss: 5.1519
eval_runtime: 308.5062
eval_samples_per_second: 337.384
eval_steps_per_second: 21.089
epoch: 7.22
step: 105695

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15
mixed_precision_training: Native AMP

Framework versions

Transformers 4.20.1
Pytorch 1.12.0+cu113
Datasets 2.3.2
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaForMaskedLM
Ревизия весов: bb16069