/ Модель

Характеристики

Лицензия
CC BY 4.0
Библиотека
timm
Опубликована
26 фев 2025

RedDino-small

Эмбеддинги изображенийИзображение → embedding3 профессии

Компактный Vision Transformer, извлекающий признаки из изображений эритроцитов для морфологического анализа и задач вычислительной гематологии.

145скачиваний за 30 дней1лайквеса обновлены2 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RedDino-small — компактная модель семейства RedDino для анализа изображений эритроцитов, разработанная для задач вычислительной гематологии. Это self-supervised Vision Transformer ViT-small с размером патча 14, обученный по адаптированной схеме DINOv2 на 1,25 млн изображений эритроцитов из 18 наборов данных. Модель принимает изображения и выдаёт векторные признаки размерности 384.

Модель предназначена для извлечения признаков, которые можно использовать в последующих задачах классификации формы и морфологических подтипов эритроцитов, а также для анализа, устойчивого к различиям между партиями и источниками изображений. Обучение на фрагментах мазков крови и специализированные аугментации рассчитаны на улучшение обобщения между источниками данных. Репозиторий распространяется по лицензии CC BY 4.0.

Сценарии применения

  • извлечение признаков из изображений эритроцитов
  • классификация формы эритроцитов
  • распознавание морфологических подтипов эритроцитов
  • сравнение изображений мазков крови из разных источников
  • анализ изображений эритроцитов с учётом различий между партиями

Ограничения

Модель ориентирована на изображения эритроцитов и сама по себе не является готовым классификатором: для классификации и распознавания подтипов нужны соответствующие последующие модели или процедуры. README не приводит количественные метрики качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

RedDino: A foundation model for red blood cell analysis

📄 Paper | 💻 Code

RedDino is a self-supervised Vision Transformer foundation model specifically designed for red blood cell (RBC) image analysis. This variant, RedDino-small, is the compact model in the family, delivering strong performance with lighter computational cost.

It leverages a tailored version of the DINOv2 framework, trained on a meticulously curated dataset of 1.25 million RBC images from diverse acquisition modalities and sources. The model excels at extracting robust features for downstream hematology tasks such as shape classification, morphological subtype recognition, and batch-effect–robust analysis.


Model Details

  • Architecture: ViT-small, patch size 14
  • SSL framework: DINOv2 (customized for RBC morphology)
  • Pretraining dataset: Curated RBC images from 18 datasets (multiple modalities and sources)
  • Embedding size: 384
  • Intended use: RBC morphology classification, feature extraction, batch-effect–robust analysis

Notes:

  • Trained with RBC-specific augmentations and DINOv2 customizations (e.g., removal of KoLeo regularizer; Sinkhorn-Knopp centering).
  • Optimized using smear patches rather than only single-cell crops to improve generalization across sources.

Example Usage

from PIL import Image
from torchvision import transforms
import timm
import torch

# Load model from Hugging Face Hub
model = timm.create_model("hf_hub:Snarcy/RedDino-small", pretrained=True)
model.eval()
device = "cuda" if torch.cuda.is_available() else "cpu"
model.to(device)

# Load and preprocess image
image = Image.open("path/to/rbc_image.jpg").convert("RGB")
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225]),
])
input_tensor = transform(image).unsqueeze(0).to(device)

# Extract features
with torch.no_grad():
    embedding = model(input_tensor)

📝 Citation

If you use this model, please cite the following paper:

RedDino: A foundation model for red blood cell analysis
Luca Zedda, Andrea Loddo, Cecilia Di Ruberto, Carsten Marr — 2025
Preprint: arXiv:2508.08180. https://arxiv.org/abs/2508.08180

@misc{zedda2025reddinofoundationmodelred,
      title={RedDino: A foundation model for red blood cell analysis}, 
      author={Luca Zedda and Andrea Loddo and Cecilia Di Ruberto and Carsten Marr},
      year={2025},
      eprint={2508.08180},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.08180}, 
}

Summary

RedDino is the first family of foundation models tailored for comprehensive red blood cell image analysis, using large-scale self-supervised learning to set new performance benchmarks and generalization standards for computational hematology. Models and pretrained weights are available for research and practical deployment.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · timm · image-feature-extraction

Можно запустить

Подбираем GPU…

Ревизия весов
50c97ee

0 моделей