Характеристики

Лицензия: CC BY-NC-SA 4.0
Опубликована: 27 ноя 2024

Ссылки

Hugging Face

SP22M

MountSinaiCompPath

Эмбеддинги изображенийИзображение → embedding

SP22M — компактная модель ViT для извлечения признаков из H&E-изображений тканей в задачах цифровой патологии.

0скачиваний за 30 дней7лайковвеса обновлены27 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SP22M — модель компьютерного зрения, разработанная Mount Sinai Health System для извлечения признаков из изображений гистологических препаратов. Это ViT-small примерно на 22 млн параметров, обученная на 423 000 изображениях H&E; её можно использовать для получения визуальных представлений тканевых образцов в последующих задачах анализа патологии. Репозиторий содержит веса PyTorch.

Модель ориентирована на патологические изображения с окрашиванием гематоксилином и эозином. Лицензия CC BY-NC-SA 4.0 разрешает использование с атрибуцией и на некоммерческих условиях, с распространением производных материалов на аналогичных условиях. Карточка не описывает конкретные downstream-задачи или ограничения качества.

Сценарии применения

извлечение визуальных признаков из H&E-срезов
получение представлений тканевых изображений для последующего анализа
подготовка признаков патологических изображений для классификатора

Ограничения

Обучение описано для H&E-изображений, поэтому применимость к другим типам окрашивания или изображениям требует проверки. Лицензия CC BY-NC-SA 4.0 ограничивает использование некоммерческими условиями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SP22M

ViT-small (22M parameters) trained on 423,000 H&E slides from the Mount Sinai Health System.

Model Usage

To get started, first clone the repository with this command:

  git clone --no-checkout https://huggingface.co/MountSinaiCompPath/SP22M && cd SP22M && git sparse-checkout init --no-cone && git sparse-checkout set '/*' '!*.bin' && git checkout

Now you can use the following code:

from PIL import Image
import numpy as np
import vision_transformer
import torch
import torch.nn as nn
import torchvision.transforms as transforms
from huggingface_hub import PyTorchModelHubMixin

class SP22M(nn.Module, PyTorchModelHubMixin):
    def __init__(self):
        super().__init__()
        self.encoder = vision_transformer.vit_small(num_classes=0)
    
    def forward(self, x):
        return self.encoder(x)

# Download up model
model = SP22M.from_pretrained("MountSinaiCompPath/SP22M")

# Set up transform
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225))
])

# Image
img = np.random.randint(0, 256, size=224*224*3).reshape(224,224,3).astype(np.uint8)
img = Image.fromarray(img)
img = transform(img).unsqueeze(0)

# Inference
with torch.no_grad():
    h = model(img)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: 8f636e5