/ Модель

Характеристики

Лицензия
CC BY 4.0
Библиотека
timm
Опубликована
26 фев 2025

RedDino-base

Эмбеддинги изображенийИзображение → embedding3 профессии

RedDino-base — модель на основе ViT и DINOv2 для извлечения признаков и анализа изображений эритроцитов.

165скачиваний за 30 дней2лайкавеса обновлены2 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RedDino-base — модель извлечения признаков из изображений эритроцитов, разработанная Лукой Цеддой, Андреа Лоддо, Чечилией Ди Руберто и Карстеном Марром из Университета Кальяри и Helmholtz Munich. Это специализированная модель компьютерного зрения для гематологических изображений, основанная на Vision Transformer ViT-Base с размером патча 14 и адаптированной архитектуре самообучения DINOv2.

Модель предварительно обучена на 1,25 млн изображений эритроцитов из 18 наборов данных и формирует векторы признаков размерности 768. Её используют для классификации формы и морфологических подтипов эритроцитов, а также анализа, устойчивого к различиям между партиями данных. В отличие от универсальных моделей, обученных на естественных изображениях, RedDino использует специализированные для гематологии аугментации и предобработку.

Модель распространяется под лицензией CC BY 4.0. Она предназначена для извлечения признаков; классификация и другие downstream-задачи требуют соответствующего последующего метода или модели. Заявление о высоких результатах на бенчмарках приведено в карточке модели.

Сценарии применения

  • извлечение признаков из микроскопических изображений эритроцитов
  • классификация формы эритроцитов с downstream-моделью
  • распознавание морфологических подтипов эритроцитов
  • сравнение эритроцитов в данных из разных партий и источников

Ограничения

Модель предназначена для изображений эритроцитов; перенос на другие типы изображений не обоснован приведёнными данными. Для получения классов или морфологических меток нужны downstream-модель или дополнительный метод.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RedDino-base

RedDino is a self-supervised Vision Transformer foundation model specifically designed for red blood cell (RBC) image analysis.
It leverages a tailored version of the DINOv2 framework, trained on a meticulously curated dataset of 1.25 million RBC images from diverse acquisition modalities and sources.
This model excels at extracting robust, general-purpose features for downstream hematology tasks such as shape classification, morphological subtype recognition, and batch-effect–robust analysis.

Unlike general-purpose models pretrained on natural images, RedDino incorporates hematology-specific augmentations, architectural tweaks, and RBC-tailored data preprocessing, enabling state-of-the-art performance on multiple RBC benchmarks.

🧠 Developed by Luca Zedda, Andrea Loddo, Cecilia Di Ruberto, and Carsten Marr
🏥 University of Cagliari & Helmholtz Munich
📄 Preprint: arXiv:2508.08180
💻 Code: https://github.com/Snarci/RedDino


Model Details

  • Architecture: ViT-base, patch size 14
  • SSL framework: DINOv2 (customized for RBC morphology)
  • Pretraining dataset: 1.25M RBC images from 18 datasets
  • Embedding size: 768
  • Applications: RBC morphology classification, feature extraction, batch-effect–robust analysis

Example Usage

from PIL import Image
from torchvision import transforms
import timm
import torch

# Load model from Hugging Face Hub
model = timm.create_model("hf_hub:Snarcy/RedDino-base", pretrained=True)
model.eval()
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# Load and preprocess image
image = Image.open("path/to/rbc_image.jpg").convert("RGB")
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225]),
])
input_tensor = transform(image).unsqueeze(0).to(device)

# Extract features
with torch.no_grad():
    embedding = model(input_tensor)

📝 Citation

If you use this model, please cite the following paper:

RedDino: A foundation model for red blood cell analysis
Luca Zedda, Andrea Loddo, Cecilia Di Ruberto, Carsten Marr — 2025
Preprint: arXiv:2508.08180. https://arxiv.org/abs/2508.08180

@misc{zedda2025reddinofoundationmodelred,
      title={RedDino: A foundation model for red blood cell analysis}, 
      author={Luca Zedda and Andrea Loddo and Cecilia Di Ruberto and Carsten Marr},
      year={2025},
      eprint={2508.08180},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.08180}, 
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Ревизия весов
8f99b88

0 моделей