MedICap: A Concise Model for Medical Image Captioning
MedICap is a medical image captioning encoder-to-decoder model that placed first in the ImageCLEFmedical Caption 2023 challenge: https://www.imageclef.org/2023/medical/caption (team CSIRO).
Характеристики
- Лицензия
- Apache 2.0
- Архитектура
- vision-encoder-decoder · dense
- Опубликована
- 3 сен 2023
Ссылки
medicap
MedICap — модель CSIRO, создающая краткие текстовые описания медицинских изображений.
137скачиваний за 30 дней2лайкавеса обновлены3 ноя 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
MedICap — модель для создания кратких описаний медицинских изображений, разработанная командой CSIRO. Она использует архитектуру vision-encoder-decoder: кодировщик обрабатывает изображение, а декодер формирует текстовое описание. Модель заняла первое место в соревновании ImageCLEFmedical Caption 2023.
Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка позиционирует модель для медицинского описания изображений; сведения о размере модели, длине контекста и поддерживаемых языках отсутствуют.
Сценарии применения
- генерация краткого описания медицинского изображения
- автоматическое составление подписей к медицинским снимкам
- подготовка текстовых описаний изображений для медицинских наборов данных
Ограничения
Модель предназначена для описания медицинских изображений; её результат не следует считать медицинским заключением. README не приводит оценки качества или сведения о поддерживаемых типах изображений.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделейIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Для архитектуры vision-encoder-decoder нет загрузчика под задачу embedding.
- Класс архитектуры
- MedICapEncoderDecoderModel
- Ревизия весов
- 14415ea