Характеристики

Лицензия: Apache 2.0
Архитектура: vision-encoder-decoder · dense
Опубликована: 5 июн 2023

Ссылки

cxrmate

ЭмбеддингиТекст → embedding3 профессии

CXRMate генерирует заключения по рентгенограммам грудной клетки с учётом нескольких снимков и продольных данных пациента.

130скачиваний за 30 дней2лайкавеса обновлены20 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CXRMate — модель генерации рентгенологических заключений по снимкам грудной клетки, разработанная авторами исследования Аароном Николсоном, Джейсоном Даулингом, Дугласом Андерсоном и Беваном Купманом. Она предназначена для создания заключений с учётом продольных данных пациента и нескольких рентгеновских изображений в рамках одного исследования.

Модель построена на архитектуре vision-encoder-decoder и обучена с использованием вознаграждения за семантическое сходство на основе CXR-BERT. Карточка описывает варианты обучения с подкреплением и без него, но не позволяет однозначно определить конкретный вариант данного репозитория. Модель принимает медицинские изображения и генерирует текст заключения; Apache-2.0 допускает коммерческое использование и модификацию при соблюдении условий лицензии.

Модель ориентирована на рентгенографию грудной клетки. Автоматически сгенерированные заключения требуют проверки специалистом; README не сообщает поддерживаемые языки, размер модели или длину контекста.

Сценарии применения

создание заключений по серии рентгенограмм грудной клетки
сравнение текущих и предыдущих снимков пациента при подготовке заключения
поддержка радиолога при составлении описания рентгенографии грудной клетки

Ограничения

Сгенерированные заключения требуют проверки медицинским специалистом. README не уточняет языки генерации и не идентифицирует однозначно вариант модели, представленный в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.3Отраслевые задачиСтрахование и актуарные задачиAI помогает оценивать риски, обрабатывать убытки и управлять страховым портфелем.30 задач563модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CXRMate: Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation

This is the longitudinal, multi-image Chest X-Ray (CXR) report generator trained with the CXR-BERT reward.

Hugging Face Models From This Paper:

Link	Longitudinal	Multi-image	Reinforcement learning
https://huggingface.co/aehrc/cxrmate	Y	Y	Y
https://huggingface.co/aehrc/cxrmate-tf	Y	Y	N
https://huggingface.co/aehrc/cxrmate-multi-tf	N	Y	N
https://huggingface.co/aehrc/cxrmate-single-tf	N	N	N

Paper:

https://doi.org/10.1016/j.imu.2024.101585

@article{NICOLSON2024101585,
title = {Longitudinal data and a semantic similarity reward for chest X-ray report generation},
journal = {Informatics in Medicine Unlocked},
volume = {50},
pages = {101585},
year = {2024},
issn = {2352-9148},
doi = {https://doi.org/10.1016/j.imu.2024.101585},
url = {https://www.sciencedirect.com/science/article/pii/S2352914824001424},
author = {Aaron Nicolson and Jason Dowling and Douglas Anderson and Bevan Koopman},
}

ArXiv:

https://arxiv.org/abs/2307.09758

GitHub Repository:

https://github.com/aehrc/cxrmate

Notebook Example:

https://github.com/aehrc/cxrmate/blob/main/examples/cxrmate.ipynb

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Для архитектуры vision-encoder-decoder нет загрузчика под задачу embedding.

Класс архитектуры: LongitudinalPromptMultiCXREncoderDecoderModel
Ревизия весов: b470d0e