/ Модель

Характеристики

Параметры
113 млн
Лицензия
CC BY 4.0
Архитектура
vit · dense
Библиотека
timm
Опубликована
12 мая 2025

RadioDino-b16

Эмбеддинги изображенийИзображение → embedding3 профессии

RadioDINO-b16 — самообученная модель ViT для извлечения признаков из медицинских изображений и переноса обучения на задачи анализа снимков.

346скачиваний за 30 дней0лайковвеса обновлены6 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RadioDINO-b16 — модель извлечения признаков для радиомики и медицинской визуализации, разработанная Лукой Цеддой, Андреа Лоддо и Чечилией Ди Руберто из Университета Кальяри. Это Vision Transformer ViT-Base с размером патча 16, обученный по самообучающей схеме DINO; модель содержит 113,2 млн параметров и выдаёт эмбеддинги размерности 768.

Модель предварительно обучена на RadImageNet — наборе из 1,35 млн изображений КТ, МРТ и ультразвуковых исследований. Она предназначена для извлечения признаков и переноса обучения в задачах медицинской визуализации, включая классификацию, сегментацию и анализ интерпретируемости. В README указана проверка на бенчмарке MedMNISTv2 и эффективность без дополнительного дообучения.

RadioDINO-b16 принимает медицинские изображения и выдаёт векторные признаки; поддерживаемые в предобучении типы изображений включают КТ, МРТ и УЗИ. Репозиторий предоставляет веса PyTorch в формате safetensors, библиотека — timm. Лицензия — CC BY 4.0.

Сценарии применения

  • извлечение признаков из снимков КТ
  • извлечение признаков из МРТ и УЗИ
  • подготовка эмбеддингов для классификации медицинских изображений
  • использование как основы для сегментации медицинских снимков
  • анализ интерпретируемости моделей медицинской визуализации

Ограничения

Модель предназначена для извлечения визуальных признаков и сама по себе не является готовой системой для постановки диагноза или клинических решений. В README приведены результаты на MedMNISTv2, но подробные численные оценки и ограничения для отдельных клинических сценариев не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RadioDINO-b16

RadioDINO-b16 is a self-supervised Vision Transformer foundation model developed for radiomics and medical imaging. It is based on the DINO framework and pretrained on the large-scale RadImageNet dataset (1.35 million CT, MRI, and Ultrasound images across 165 classes and 11 anatomical regions). This model is part of the Radio DINO family and was created to extract robust, general-purpose features for downstream medical tasks including classification, segmentation, and interpretability analysis.

Unlike traditional radiomics methods that rely on handcrafted features and supervised models pretrained on natural images, RadioDINO-b16 offers a domain-adapted alternative that consistently outperforms previous models on diverse medical benchmarks. It has been rigorously validated on the MedMNISTv2 benchmark suite and shown to be effective even without fine-tuning.

🧠 Developed by Luca Zedda, Andrea Loddo, and Cecilia Di Ruberto
🏥 Department of Mathematics and Computer Science, University of Cagliari
📄 Published in: Computers in Biology and Medicine, 2025


Model Details

  • Architecture: ViT-base with patch size 16 (b16)
  • SSL framework: DINO (self-distillation without labels)
  • Pretraining dataset: RadImageNet (1.35M CT/MRI/Ultrasound images)
  • Embedding size: 768
  • Applications: Feature extraction, classification backbones, transfer learning, medical imaging analysis

Example Usage

from PIL import Image
from torchvision import transforms
import timm
import torch
# Load model from Hugging Face Hub
model = timm.create_model("hf_hub:Snarcy/RadioDino-b16", pretrained=True)
model.eval()
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)
# Load and preprocess a sample image
image = Image.open("path/to/your/image").convert("RGB")
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225]),
])
input_tensor = transform(image).unsqueeze(0).to(device)
# Forward pass to obtain feature embedding
with torch.no_grad():
    embedding = model(input_tensor)

📝 Citation

If you use this model, please cite the following paper:

Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis
Luca Zedda, Andrea Loddo, Cecilia Di Ruberto
Computers in Biology and Medicine, Volume 195, 2025, 110583
https://doi.org/10.1016/j.compbiomed.2025.110583

@article{ZEDDA2025110583,
  title = {Radio DINO: A foundation model for advanced radiomics and AI-driven medical imaging analysis},
  journal = {Computers in Biology and Medicine},
  volume = {195},
  pages = {110583},
  year = {2025},
  issn = {0010-4825},
  doi = {https://doi.org/10.1016/j.compbiomed.2025.110583},
  url = {https://www.sciencedirect.com/science/article/pii/S0010482525009345},
  author = {Luca Zedda and Andrea Loddo and Cecilia {Di Ruberto}},
  keywords = {Radiomics, Self-supervised learning, Deep learning, DINO, DINOV2, Medical imaging, Feature extraction, Generalizability},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Класс архитектуры
ViTModel
Ревизия весов
2c0994d

0 моделей