BiomedCLIP — мультимодальная модель CLIP для сопоставления медицинских изображений с текстом и zero-shot классификации.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это версия BiomedCLIP, подготовленная chuhac для использования с PyTorch и интерфейсами Hugging Face Transformers. Репозиторий содержит реализацию модели CLIP с визуальным энкодером ViT-Base и текстовым энкодером на основе PubMedBERT, перенесённую с microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224; ключи весов переименованы для совместимости. Модель сопоставляет медицинские изображения и текстовые описания, поэтому подходит для извлечения признаков и классификации изображений по текстовым меткам в режиме zero-shot.
Модель принимает изображения и текстовые описания, а её совместное пространство представлений позволяет сравнивать их и выбирать подходящие метки без отдельного обучения классификатора на каждой задаче. Карточка не приводит собственные оценки качества, ограничения применения или длину контекста. Репозиторий распространяется по лицензии MIT.
В карточке не приведены оценки качества и подробные ограничения; для загрузки указаны trust_remote_code=True, поэтому перед применением следует проверить исполняемый код репозитория.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained("chuhac/BiomedCLIP-vit-bert-hf", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("chuhac/BiomedCLIP-vit-bert-hf", trust_remote_code=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · image-classification
Подбираем GPU…