/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Параметры
51,3 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
bioformer-16l
Библиотека
transformers
Опубликована
25 июл 2026

Ссылки

Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-spanmask-combinedData

Mardiyyah
Заполнение пропусковТекст → текст3 профессии

Дообученная на Combined_TAPT_dataset английская BERT-модель для предсказания замаскированных токенов в тексте.

17скачиваний за 30 дней0лайковвеса обновлены25 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-spanmask-combinedData — дообученная Mardiyyah модель на основе bioformers/bioformer-16l, обученная на датасете Mardiyyah/Combined_TAPT_dataset. Это плотная модель семейства BERT с архитектурой BertForMaskedLM, предназначенная для предсказания замаскированных токенов в тексте. Размер модели — 51,3 млн параметров, максимальный контекст — 1024 токена.

В оценке на тестовом наборе указаны loss 2,6024, accuracy 0,5465 и perplexity 13,4958. Модель работает с английским языком. Лицензия — Apache-2.0.

Сценарии применения

  • подстановка пропущенного слова в английском тексте
  • оценка вариантов заполнения пропуска в предложении
  • контекстное предсказание токенов в англоязычных корпусах

Ограничения

Карточка не описывает целевое применение, обучающие данные подробнее или известные ограничения; метрики приведены только для указанного набора оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-spanmask-combinedData

This model is a fine-tuned version of bioformers/bioformer-16l on the Mardiyyah/Combined_TAPT_dataset dataset. It achieves the following results on the evaluation set:

  • Loss: 2.6024
  • Accuracy: 0.5465
  • Perplexity: 13.4958

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 3407
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 64
  • optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-06 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.06
  • num_epochs: 100
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAccuracyPerplexity
3.5521.0303.05860.515421.2975
3.25682.0602.93860.520818.8891
3.1563.0902.88780.526917.9534
3.08864.01202.77590.533616.0535
3.05035.01502.76360.537615.8571
3.00836.01802.73040.541315.3387
2.99037.02102.71230.540315.0639
2.91878.02402.71580.537915.1165
2.89569.02702.74720.537015.5986
2.893610.03002.66870.540914.4215
2.868911.03302.75310.532315.6912
2.860912.03602.69940.535614.8709
2.832913.03902.72890.533015.3156
2.797814.04202.63340.543713.9212
2.779115.04502.66270.544714.3353
2.76116.04802.67670.538214.5373
2.770517.05102.66810.539414.4131
2.746318.05402.62600.541613.8184
2.743719.05702.65530.539714.2286
2.723420.06002.63250.544113.9082
2.709121.06302.59660.548713.4178
2.687522.06602.64040.539514.0189
2.690323.06902.69010.533714.7330
2.660524.07202.59800.548413.4364
2.680225.07502.60860.537813.5797
2.664126.07802.60760.542413.5670

Framework versions

  • Transformers 4.48.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.2
  • Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
e055110

0 моделей

    Создать бенчмарк