Предварительно обученная BERT-модель BookingCare для анализа медицинских текстов на вьетнамском языке и заполнения пропусков в тексте.
9скачиваний за 30 дней0лайковвеса обновлены19 июл 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Bkcare-bert-pretrained — вьетнамская языковая модель на архитектуре BERT, разработанная BookingCare для анализа медицинских текстов. Это предварительно обученная модель, представленная как базовый языковой чекпойнт для задач извлечения информации из медицинских текстов на вьетнамском языке.
Модель содержит 136,7 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате safetensors. Метаданные указывают задачу fill-mask, поэтому модель подходит для предсказания замаскированных слов и может служить основой для последующей адаптации под медицинские текстовые задачи. Лицензия — Apache-2.0.
Карточка позиционирует модель как базовый чекпойнт для медицинского текстового майнинга, но не сообщает количественных результатов и не описывает конкретные downstream-задачи. Модель предназначена для вьетнамского языка; другие языки не заявлены.
Сценарии применения
предсказание замаскированных слов во вьетнамских медицинских текстах
извлечение информации из медицинских текстов на вьетнамском языке
адаптация базовой языковой модели для медицинского NLP на вьетнамском языке
Ограничения
В карточке не приведены метрики качества и подробности о конкретных медицинских задачах, на которых проверялась модель. Заявлена поддержка вьетнамского языка; контекст ограничен 512 токенами.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Bkcare-base-pretrained: Pre-trained Language Models for Vietnamese in Health Text Mining
bkcare-bert-pretrained is the a strong baseline language models for Vietnamese in Healthcare domain.
Example usage
import torch
from transformers import AutoModel, AutoTokenizer
vihealthbert = AutoModel.from_pretrained("BookingCare/bkcare-bert-pretrained")
tokenizer = AutoTokenizer.from_pretrained("BookingCare/bkcare-bert-pretrained")
line = "Bệnh viện chợ rẫy ở Thành phố Hồ Chí Minh"
input_ids = torch.tensor([tokenizer.encode(line)])
with torch.no_grad():
features = vihealthbert(input_ids) # Models outputs are now tuples
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров