/ Модель

Характеристики

Контекст
512 токенов
Параметры
432 млн
Лицензия
Apache 2.0
Архитектура
bert · dense
Опубликована
24 мая 2022

medical-sentence-tokenizer

Разметка токеновТекст → label3 профессии

BERT-модель для разбиения английских клинических записей на предложения с учётом медицинских сокращений и терминологии.

115скачиваний за 30 дней4лайкавеса обновлены30 мая 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

samrawal/medical-sentence-tokenizer — модель семейства BERT для разбиения клинического текста на предложения. Её разработчики обучили модель на нескольких наборах данных i2b2, ныне n2c2, для обработки неструктурированных медицинских записей, включая электронные истории болезни.

Модель выполняет классификацию токенов, чтобы находить границы предложений. Она рассчитана на английские клинические тексты, где обычные токенизаторы предложений могут ошибаться из-за медицинских сокращений, жаргона и особенностей записей. Размер модели — 432,3 млн параметров, контекст — до 512 токенов.

Модель опубликована в формате PyTorch под лицензией Apache-2.0. Для текстов вне медицинской области авторы рекомендуют применять более универсальные токенизаторы предложений, которые могут давать лучшие результаты.

Сценарии применения

  • Разбиение электронных историй болезни на предложения
  • Сегментация клинических заметок с медицинскими сокращениями
  • Подготовка медицинских записей для последующего NLP-анализа

Ограничения

Модель специализирована на клинических текстах и может уступать универсальным токенизаторам на обычных текстах. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

clinitokenizer is a sentence tokenizer for clinical text to split unstructured text from clinical text (such as Electronic Medical Records) into individual sentences.

To use this model, see the clinitokenizer repository.

General English sentence tokenizers are often unable to correctly parse medical abbreviations, jargon, and other conventions often used in medical records (see "Motivating Examples" section below). clinitokenizer is specifically trained on medical record data and can perform better in these situations (conversely, for non-domain specific use, using more general sentence tokenizers may yield better results).

The model has been trained on multiple datasets provided by i2b2 (now n2c2). Please visit the n2c2 site to request access to the dataset.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
9e006a3

0 моделей