/ Модель

Характеристики

Параметры
28,3 млн
Лицензия
CC BY 4.0
Архитектура
vit · dense
Библиотека
timm
Опубликована
12 мая 2025

RadioDino-s8

ЭмбеддингиТекст → embedding3 профессии

Самообученная модель ViT для извлечения признаков из медицинских изображений и использования в задачах классификации и сегментации.

86скачиваний за 30 дней0лайковвеса обновлены5 июл 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RadioDINO-s8 — модель Vision Transformer для извлечения признаков из медицинских изображений, разработанная Лукой Цеддой, Андреа Лоддо и Чечилией Ди Руберто из Университета Кальяри. Модель основана на методе DINO и предварительно обучена без разметки на RadImageNet — наборе из 1,35 млн КТ-, МРТ- и ультразвуковых изображений. Архитектура ViT-small использует патчи размером 8 и формирует эмбеддинги размерности 384; число параметров — 28,3 млн.

Модель предназначена для получения признаков, которые можно использовать в классификации, сегментации, переносе обучения и анализе интерпретируемости в медицинской визуализации. В README заявлена проверка на бенчмарке MedMNISTv2 и эффективность без дополнительной тонкой настройки. Это экстрактор визуальных признаков, а не готовая система для постановки диагноза. Лицензия — CC BY 4.0.

Сценарии применения

  • извлечение признаков из КТ-снимков
  • извлечение признаков из МРТ
  • анализ ультразвуковых изображений
  • создание основы для классификации медицинских изображений
  • подготовка признаков для сегментации медицинских изображений
  • анализ интерпретируемости моделей медицинской визуализации

Ограничения

Модель извлекает признаки и сама по себе не выдаёт диагноз или готовую сегментацию; для конкретных задач может потребоваться обучить дополнительную модель. Заявленные результаты бенчмарка приведены в README и не гарантируют качество на любых клинических данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RadioDINO-s8

RadioDINO-s8 is a self-supervised Vision Transformer foundation model developed for radiomics and medical imaging. It is based on the DINO framework and pretrained on the large-scale RadImageNet dataset (1.35 million CT, MRI, and Ultrasound images across 165 classes and 11 anatomical regions). This model is part of the Radio DINO family and was created to extract robust, general-purpose features for downstream medical tasks including classification, segmentation, and interpretability analysis.

Unlike traditional radiomics methods that rely on handcrafted features and supervised models pretrained on natural images, RadioDINO-s8 offers a domain-adapted alternative that consistently outperforms previous models on diverse medical benchmarks. It has been rigorously validated on the MedMNISTv2 benchmark suite and shown to be effective even without fine-tuning.

🧠 Developed by Luca Zedda, Andrea Loddo, and Cecilia Di Ruberto
🏥 Department of Mathematics and Computer Science, University of Cagliari
📄 Published in: Computers in Biology and Medicine, 2025


Model Details

  • Architecture: ViT-small with patch size 8 (s8)
  • SSL framework: DINO (self-distillation without labels)
  • Pretraining dataset: RadImageNet (1.35M CT/MRI/Ultrasound images)
  • Embedding size: 384
  • Applications: Feature extraction, classification backbones, transfer learning, medical imaging analysis

Example Usage

from PIL import Image
from torchvision import transforms
import timm
import torch

# Load model from Hugging Face Hub
model = timm.create_model("hf_hub:Snarcy/RadioDino-s8", pretrained=True)
model.eval()
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# Load and preprocess a sample image
image = Image.open("path/to/your/image").convert("RGB")
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225]),
])
input_tensor = transform(image).unsqueeze(0).to(device)

# Forward pass to obtain feature embedding
with torch.no_grad():
    embedding = model(input_tensor)

📝 Citation

If you use this model, please cite the following paper:

Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis
Luca Zedda, Andrea Loddo, Cecilia Di Ruberto
Computers in Biology and Medicine, Volume 195, 2025, 110583
https://doi.org/10.1016/j.compbiomed.2025.110583

@article{ZEDDA2025110583,
  title = {Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis},
  journal = {Computers in Biology and Medicine},
  volume = {195},
  pages = {110583},
  year = {2025},
  issn = {0010-4825},
  doi = {https://doi.org/10.1016/j.compbiomed.2025.110583},
  url = {https://www.sciencedirect.com/science/article/pii/S0010482525009345},
  author = {Luca Zedda and Andrea Loddo and Cecilia {Di Ruberto}},
  keywords = {Radiomics, Self-supervised learning, Deep learning, DINO, DINOV2, Medical imaging, Feature extraction, Generalizability},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm

Нельзя запустить

timm-модели запускаются только для классификации и признаков изображений.

Класс архитектуры
ViTModel
Ревизия весов
710fdbb

0 моделей