/ Модель

Характеристики

Параметры
28,3 млн
Лицензия
CC BY 4.0
Архитектура
vit · dense
Библиотека
timm
Опубликована
12 мая 2025

RadioDino-s16

Эмбеддинги изображенийИзображение → embedding3 профессии

Самообученный Vision Transformer для извлечения признаков и переноса обучения на медицинских изображениях.

1 244скачиваний за 30 дней0лайковвеса обновлены6 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RadioDINO-s16 — модель семейства Radio DINO, разработанная Лукой Цеддой, Андреа Лоддо и Чечилией Ди Руберто из Университета Кальяри для радиомики и медицинской визуализации. Это самообученный Vision Transformer малого размера с патчами 16×16, основанный на DINO; число параметров — 28,3 млн, размерность эмбеддингов — 384. Модель предназначена для извлечения признаков из медицинских изображений и использования в качестве основы для классификации, сегментации, переноса обучения и анализа интерпретируемости.

Предобучение проводилось на RadImageNet — наборе из 1,35 млн КТ-, МРТ- и ультразвуковых изображений. Авторы сообщают о проверке на бенчмарке MedMNISTv2 и эффективности без дополнительного дообучения. Модель принимает изображения и выдаёт векторные признаки; метаданные указывают также наборы BUSI и MedMNIST. Репозиторий использует PyTorch и safetensors. Лицензия — CC BY 4.0.

Сценарии применения

  • извлечение признаков из КТ-снимков
  • извлечение признаков из МРТ
  • анализ ультразвуковых изображений
  • создание основы для классификации медицинских изображений
  • подготовка признаков для сегментации медицинских изображений
  • анализ интерпретируемости моделей медицинской визуализации

Ограничения

Модель предназначена для анализа медицинских изображений; качество на конкретных клинических задачах и типах данных может требовать отдельной проверки. Для получения признаков и решения downstream-задач нужна совместимая обработка изображений и, в зависимости от задачи, дополнительная модель или настройка.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RadioDINO-s16

RadioDINO-s16 is a self-supervised Vision Transformer foundation model developed for radiomics and medical imaging. It is based on the DINO framework and pretrained on the large-scale RadImageNet dataset (1.35 million CT, MRI, and Ultrasound images across 165 classes and 11 anatomical regions). This model is part of the Radio DINO family and was created to extract robust, general-purpose features for downstream medical tasks including classification, segmentation, and interpretability analysis.

Unlike traditional radiomics methods that rely on handcrafted features and supervised models pretrained on natural images, RadioDINO-s16 offers a domain-adapted alternative that consistently outperforms previous models on diverse medical benchmarks. It has been rigorously validated on the MedMNISTv2 benchmark suite and shown to be effective even without fine-tuning.

🧠 Developed by Luca Zedda, Andrea Loddo, and Cecilia Di Ruberto
🏥 Department of Mathematics and Computer Science, University of Cagliari
📄 Published in: Computers in Biology and Medicine, 2025


Model Details

  • Architecture: ViT-small with patch size 16 (s16)
  • SSL framework: DINO (self-distillation without labels)
  • Pretraining dataset: RadImageNet (1.35M CT/MRI/Ultrasound images)
  • Embedding size: 384
  • Applications: Feature extraction, classification backbones, transfer learning, medical imaging analysis

Example Usage

from PIL import Image
from torchvision import transforms
import timm
import torch

# Load model from Hugging Face Hub
model = timm.create_model("hf_hub:Snarcy/RadioDino-s16", pretrained=True)
model.eval()
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# Load and preprocess a sample image
image = Image.open("path/to/your/image").convert("RGB")
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225]),
])
input_tensor = transform(image).unsqueeze(0).to(device)

# Forward pass to obtain feature embedding
with torch.no_grad():
    embedding = model(input_tensor)

📝 Citation

If you use this model, please cite the following paper:

Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis
Luca Zedda, Andrea Loddo, Cecilia Di Ruberto
Computers in Biology and Medicine, Volume 195, 2025, 110583
https://doi.org/10.1016/j.compbiomed.2025.110583

@article{ZEDDA2025110583,
  title = {Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis},
  journal = {Computers in Biology and Medicine},
  volume = {195},
  pages = {110583},
  year = {2025},
  issn = {0010-4825},
  doi = {https://doi.org/10.1016/j.compbiomed.2025.110583},
  url = {https://www.sciencedirect.com/science/article/pii/S0010482525009345},
  author = {Luca Zedda and Andrea Loddo and Cecilia {Di Ruberto}},
  keywords = {Radiomics, Self-supervised learning, Deep learning, DINO, DINOV2, Medical imaging, Feature extraction, Generalizability},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Класс архитектуры
ViTModel
Ревизия весов
773d28d

0 моделей