Характеристики

Размер весов: 28,2 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: CXR-LLAVA · dense
Опубликована: 12 янв 2024

Ссылки

CXR-LLAVA-v2

ЭмбеддингиТекст → embedding3 профессии

Мультимодальная модель ECOFRI анализирует рентгеновские снимки грудной клетки и предназначена для генерации радиологических заключений.

167скачиваний за 30 дней6лайковвеса обновлены18 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CXR LLaVA v2 — мультимодальная модель ECOFRI для работы с рентгеновскими снимками грудной клетки. Она предназначена для генерации радиологических заключений по снимкам. Версия 2.0 использует визуальный энкодер ViT-L/16 и языковую модель Llama 2 7B Chat; на вход подаются изображения в градациях серого с разрешением 512 × 512. В метаданных задача указана как извлечение признаков.

Модель представлена в форматах PyTorch и Safetensors и распространяется по лицензии CC BY-NC 4.0. README не описывает языки генерации, длину контекста или ограничения точности, поэтому их нельзя уточнить по доступным данным.

Сценарии применения

генерация радиологического заключения по рентгену грудной клетки
анализ снимка грудной клетки для поддержки подготовки описания
извлечение признаков из рентгеновского изображения

Ограничения

Модель описана для рентгеновских снимков грудной клетки; доступные сведения не подтверждают пригодность для других видов изображений или клинического применения без проверки специалистом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей IV.3Отраслевые задачиСтрахование и актуарные задачиAI помогает оценивать риски, обрабатывать убытки и управлять страховым портфелем.30 задач563модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CXR LLaVA

https://github.com/ECOFRI/CXR_LLaVA

Multimodal Large Language Model Fine-Tuned for Chest X-ray Images

CXR LLaVA is an innovative open-source, multimodal large language model specifically designed for generating radiologic reports from chest X-ray images.

Arxiv Preprint Paper: Explore the detailed scientific background of CXR LLaVA on Arxiv.
Demo Website: Experience the model in action at Radiologist App.

Version	Input CXR resolution	Channels	Vision Encoder	Base LLM	Weight
v1.0	512x512	RGB	RN50	LLAMA2-13B-CHAT	Deprecated
v2.0 (Latest)	512x512	Grayscale	ViT-L/16	LLAMA2-7B-CHAT	Link

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: CXRLLAVAModel
Ревизия весов: b222478