/ Модель

Характеристики

Лицензия
Apache 2.0
Архитектура
segformer · dense
Опубликована
14 авг 2023

segformer_for_optic_disc_cup_segmentation

Сегментация изображенийИзображение → mask3 профессии

SegFormer Xu Sun, дообученная на REFUGE для выделения зрительного диска и optic cup на фотографиях глазного дна.

4 750скачиваний за 30 дней6лайковвеса обновлены8 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Xu Sun — SegFormer, дообученная на наборе REFUGE для сегментации зрительного диска и зрительного нерва (optic cup) на цветных фотографиях глазного дна. Она принимает изображение глазного дна и выдаёт семантическую сегментацию этих анатомических структур; архитектура реализована как SegformerForSemanticSegmentation, веса доступны в форматах PyTorch и safetensors.

Модель предназначена для анализа снимков сетчатки и может помогать в исследовательских и диагностических сценариях, где требуется выделить зрительный диск и optic cup. Лицензия — Apache-2.0. Обучение проводилось на изображениях глазного дна, поэтому для ожидаемой работы следует подавать именно такие изображения; качество на других типах изображений не подтверждено.

Сценарии применения

  • сегментация зрительного диска на снимке глазного дна
  • сегментация optic cup на снимке сетчатки
  • подготовка анатомических масок для анализа глазного дна
  • выделение структур сетчатки в исследовательских наборах данных

Ограничения

Модель обучалась на изображениях глазного дна; применение к другим типам изображений не подтверждено. Карточка не приводит количественных оценок качества или сведений о клинической валидации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

This SegFormer model has undergone specialized fine-tuning on the REFUGE challenge dataset, a public benchmark for semantic segmentation of anatomical structures in retinal fundus images. The fine-tuning enables expert-level segmentation of the optic disc and optic cup, two critical structures for ophthalmological diagnosis.

Model Details

Model Description

  • Developed by: Xu Sun
  • Shared by: Xu Sun
  • Model type: Image segmentation
  • License: Apache-2.0

Uses

This pretrained model enables semantic segmentation of key anatomical structures, namely, the optic disc and optic cup, in retinal fundus images. It takes fundus images as input and outputs the segmentation results.

Bias, Risks, and Limitations

The model has undergone specialized training and fine-tuning exclusively using retinal fundus images, with the objective to perform semantic segmentation of anatomical structures including the optic disc and optic cup. Therefore, in order to derive optimal segmentation performance, it is imperative to ensure that only fundus images are entered as inputs to this model.

How to Get Started with the Model

Use the code below to get started with the model.

import cv2
import torch
import numpy as np

from torch import nn
from transformers import AutoImageProcessor, SegformerForSemanticSegmentation

image = cv2.imread('./example.jpg')
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

processor = AutoImageProcessor.from_pretrained("pamixsun/segformer_for_optic_disc_cup_segmentation")
model = SegformerForSemanticSegmentation.from_pretrained("pamixsun/segformer_for_optic_disc_cup_segmentation")

inputs = processor(image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits.cpu()

upsampled_logits = nn.functional.interpolate(
    logits,
    size=image.shape[:2],
    mode="bilinear",
    align_corners=False,
)

pred_disc_cup = upsampled_logits.argmax(dim=1)[0].numpy().astype(np.uint8)

Citation [optional]

BibTeX:

[More Information Needed]

APA:

[More Information Needed]

Model Card Contact

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · image-segmentation

Можно запустить

Подбираем GPU…

Класс архитектуры
SegformerForSemanticSegmentation
Ревизия весов
a0463fb

0 моделей