/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Параметры
51,3 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Базовая модель
bioformer-16l
Библиотека
transformers
Опубликована
25 июл 2026

Ссылки

Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-baseline-combinedData

Mardiyyah
Заполнение пропусковТекст → текст3 профессии

Дообученная на биомедицинских данных BERT-модель для предсказания замаскированных токенов в тексте.

21скачиваний за 30 дней0лайковвеса обновлены25 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-baseline-combinedData — дообученная версия bioformers/bioformer-16l, подготовленная Mardiyyah на наборе Mardiyyah/Combined_TAPT_dataset. Это плотная модель семейства BERT с архитектурой BertForMaskedLM, предназначенная для заполнения пропусков в тексте: она предсказывает замаскированные токены с учётом окружающего контекста. Модель подходит для адаптации и экспериментов с биомедицинскими текстами; на указанном в карточке наборе оценки достигла loss 1,3221, accuracy 0,7303 и perplexity 3,7513.

Модель содержит 51,3 млн параметров, использует библиотеку Transformers и формат safetensors. Максимальная длина контекста — 1024 токена. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Карточка не описывает подробные сценарии применения или ограничения, поэтому приведённые результаты относятся только к указанному набору оценки.

Сценарии применения

  • заполнение пропусков в биомедицинских текстах
  • предсказание скрытых терминов в научных публикациях
  • адаптация BERT к корпусу для последующего NLP-эксперимента

Ограничения

В карточке нет подробного описания ограничений; приведённые метрики относятся только к указанному набору оценки и не гарантируют качество на других корпусах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейIV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CeLLaTe-tapt-bioformer16l-tokenizer-adapted-baseline-combinedData

This model is a fine-tuned version of bioformers/bioformer-16l on the Mardiyyah/Combined_TAPT_dataset dataset. It achieves the following results on the evaluation set:

  • Loss: 1.3221
  • Accuracy: 0.7303
  • Perplexity: 3.7513

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 3e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 3407
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 64
  • optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-06 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.06
  • num_epochs: 100
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAccuracyPerplexity
1.87541.0301.68200.70515.3764
1.79912.0601.58620.71184.8850
1.74643.0901.56050.71254.7614
1.70944.01201.48660.72194.4222
1.65025.01501.48030.71984.3942
1.60856.01801.49750.71804.4704
1.57397.02101.47100.71634.3535
1.51578.02401.42150.72504.1435
1.49789.02701.43050.72284.1807
1.481310.03001.41620.72534.1213
1.461111.03301.38190.72643.9826
1.45312.03601.38620.72853.9997
1.443213.03901.36990.73433.9351
1.399814.04201.36440.72993.9134
1.412815.04501.39380.72824.0303
1.374416.04801.36600.72863.9196
1.379817.05101.37080.73013.9385
1.357218.05401.34530.73553.8393
1.358719.05701.35190.73283.8648
1.33120.06001.34080.73233.8219
1.322221.06301.36110.73113.9003
1.324222.06601.35130.73023.8626
1.320323.06901.35280.72903.8683
1.295624.07201.38270.72793.9858
1.284525.07501.33080.73043.7843
1.283126.07801.32180.73513.7501
1.281927.08101.34480.73233.8376
1.256228.08401.34060.72933.8215
1.257429.08701.33370.73283.7950
1.254830.09001.32260.73253.7531
1.253931.09301.31700.73643.7322
1.238332.09601.32650.73173.7680
1.234533.09901.32530.73503.7632
1.224334.010201.29380.73653.6468
1.228835.010501.31500.73463.7248
1.215836.010801.30860.73553.7011
1.194337.011101.31480.73603.7239
1.204338.011401.33420.73293.7968
1.187239.011701.33140.73403.7864

Framework versions

  • Transformers 4.48.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.2
  • Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
7af1b7f

0 моделей

    Создать бенчмарк