biobert-base-cased-v1.2
BioBERT-Base v1.2 — англоязычная BERT-модель для биомедицинских текстов, предназначенная прежде всего для предсказания замаскированных токенов и использования в качестве основы для специализированных задач.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
BioBERT-Base v1.2 — англоязычная биомедицинская языковая модель на архитектуре BERT, разработанная исследователями DMIS-Lab Университета Корё. Она обучена для работы с биомедицинскими текстами; версия v1.2 включает языковую модельную голову, полезную для исследования представлений и предсказания замаскированных токенов. Модель содержит около 135,5 млн параметров и принимает последовательности длиной до 512 токенов.
Основной сценарий использования этой версии — заполнение маски и исследование языковых представлений; BioBERT также может служить основой для дообучения на распознавание биомедицинских сущностей, извлечение отношений и ответы на вопросы. Это текстовая модель, а не готовая диалоговая система или самостоятельный извлекатель сущностей без соответствующей дополнительной настройки. В репозитории Hugging Face лицензия не указана в доступных метаданных; условия следует сверить с лицензией исходного проекта перед использованием.
Сценарии применения
- предсказание пропущенных слов в биомедицинских текстах
- исследование языковых представлений биомедицинской литературы
- дообучение на распознавание биомедицинских сущностей
- дообучение на извлечение отношений между биомедицинскими понятиями
- дообучение на ответы на вопросы по биомедицинским текстам
Ограничения
Модель предназначена для английских биомедицинских текстов и имеет предел контекста 512 токенов. Для распознавания сущностей, извлечения отношений и ответов на вопросы нужны соответствующие дообучение и задачавая голова.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- BertForMaskedLM
- Ревизия весов
- 67c9c25