/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Параметры
51,6 млн
Архитектура
bert · dense
Базовая модель
bioformer-16l-tokenizer-adapted
Библиотека
transformers
Опубликована
15 июл 2026

Ссылки

Hugging Face

CeLLaTe-bioformer-16L-tapt-adapted

OTAR3088
Заполнение пропусковТекст → текст3 профессии

Дообученная BERT-модель для предсказания скрытых токенов в биомедицинских текстах.

8скачиваний за 30 дней0лайковвеса обновлены16 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CeLLaTe-bioformer-16L-tapt-adapted — модель семейства BERT, дообученная OTAR3088 на базе Mardiyyah/bioformer-16l-tokenizer-adapted. Она предназначена для задачи fill-mask: предсказывает скрытые токены в тексте, что подходит для анализа и дополнения биомедицинских текстов. Модель содержит 51,6 млн параметров, принимает текст и выдаёт текстовые предсказания; длина контекста — до 1024 токенов.

В README приведены результаты оценки: loss 2,6328, accuracy 0,6251 и perplexity 13,9125. Датасет обучения не указан, поэтому результаты не позволяют судить о качестве на конкретных биомедицинских задачах. Лицензия в предоставленных данных не указана.

Сценарии применения

  • предсказание пропущенных слов в биомедицинских текстах
  • проверка языковых представлений медицинских текстов
  • эксперименты с masked language modeling в биомедицине

Ограничения

Датасет обучения и подробности о назначении модели не приведены; результаты оценки сами по себе не подтверждают качество на практических биомедицинских задачах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CeLLaTe-bioformer-16L-tapt-adapted

This model is a fine-tuned version of Mardiyyah/bioformer-16l-tokenizer-adapted on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 2.6328
  • Accuracy: 0.6251
  • Perplexity: 13.9125

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 3407
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 64
  • optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-06 and optimizer_args=No additional optimizer arguments
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.06
  • num_epochs: 50
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation LossAccuracyPerplexity
No log1.0159.57650.000814421.3859
No log2.0307.73670.00052290.8902
No log3.0456.86670.1422959.7625
No log4.0605.88740.2321360.4623
No log5.0755.23450.2851187.6406
No log6.0904.78750.3268119.9979
6.75577.01054.46250.356586.6999
6.75578.01204.19130.394166.1101
6.75579.01354.01960.418155.6783
6.755710.01503.81860.452545.5417
6.755711.01653.68140.472539.7034
6.755712.01803.52840.495034.0703
6.755713.01953.45970.513131.8077
3.756314.02103.38130.521929.4080
3.756315.02253.27840.539626.5346
3.756316.02403.19440.552624.3961
3.756317.02553.10440.565622.2966
3.756318.02703.10870.562322.3914
3.756319.02852.99390.585619.9634
3.056720.03003.00400.580620.1659
3.056721.03152.90780.594218.3163
3.056722.03302.92900.593618.7092
3.056723.03452.88200.601617.8503
3.056724.03602.81250.605716.6508
3.056725.03752.84990.602617.2855
3.056726.03902.77020.617915.9623
2.752627.04052.72240.620915.2171
2.752628.04202.68480.620914.6559
2.752629.04352.71440.619215.0951
2.752630.04502.67040.623614.4457
2.752631.04652.67760.619114.5504
2.752632.04802.60900.633613.5857
2.752633.04952.60010.633713.4658
2.564534.05102.63020.626913.8762
2.564535.05252.64300.625414.0549
2.564536.05402.60050.634313.4706

Framework versions

  • Transformers 4.48.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.2
  • Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForMaskedLM
Ревизия весов
9dd46f8

0 моделей

    Создать бенчмарк