Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Базовая модель: bert-base-spanish-wwm-uncased
Опубликована: 7 июн 2022

Ссылки

beto-clinical-wl-es

Заполнение пропусковТекст → текст3 профессии

Испаноязычная BERT-модель, дообученная на данных чилийского листа ожидания для предсказания скрытых слов в клинических текстах.

1 404скачиваний за 30 дней2лайкавеса обновлены13 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

plncmm/beto-clinical-wl-es — испаноязычная модель на основе BERT, дообученная на наборе данных чилийского листа ожидания. Она предназначена для предсказания скрытых слов в клинических текстах на испанском языке. Модель содержит 137,1 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Сценарии применения

предсказание пропущенных слов в испаноязычных клинических текстах
пополнение маскированных фрагментов медицинских записей
контекстное моделирование текстов о листах ожидания в Чили

Ограничения

Карточка не содержит сведений об оценке качества, обучающей выборке помимо упоминания чилийского листа ожидания или рекомендуемых сценариях применения. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

plncmm/beto-clinical-wl-es

This model is a fine-tuned version of dccuchile/bert-base-spanish-wwm-uncased on the Chilean waiting list dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3.0

Training results

Framework versions

Transformers 4.20.0.dev0
Pytorch 1.11.0+cu113
Datasets 2.2.1
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: e8e499c