Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Архитектура: bert · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

biobert_v1.1_pubmed

monologg

Заполнение пропусковТекст → текст3 профессии

BioBERT — BERT-модель, предварительно обученная на PubMed для заполнения пропусков и анализа биомедицинских текстов.

1 197скачиваний за 30 дней7лайковвеса обновлены12 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

monologg/biobert_v1.1_pubmed — языковая модель на архитектуре BERT, опубликованная monologg на Hugging Face. Это BioBERT, предварительно обученная на биомедицинских текстах PubMed; её назначение — извлечение и анализ информации из научных и медицинских текстов. Репозиторий предоставляет модель для заполнения пропусков в тексте (fill-mask), с 135,5 млн параметров и контекстом до 512 токенов.

Модель работает с текстом и подходит как языковая основа для биомедицинских задач, например распознавания сущностей, извлечения отношений и ответов на вопросы после соответствующей настройки. Карточка указывает Transformers и варианты весов PyTorch, JAX и safetensors. Лицензия в предоставленных сведениях не установлена; базовая BioBERT опубликована исследовательской группой DMIS-Lab.

Сценарии применения

предсказание пропущенных слов в биомедицинском тексте
подготовка основы для распознавания медицинских сущностей
извлечение отношений из научных публикаций
адаптация к ответам на вопросы по биомедицинским текстам

Ограничения

Репозиторий предоставляет базовую masked-language модель, а не готовую специализированную систему для NER, извлечения отношений или ответов на вопросы; для таких сценариев требуется подходящая настройка. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: e0bfdab