LLaVA-Med-GEMeX (v1) fine-tuned with LLaVA-Med on the GEMeX-VQA dataset (www.med-vqa.com/GEMeX)
Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 6,6 млрд
- Размер весов
- 13,5 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- llava_custom · dense
- Базовая модель
- llava-med-7b-delta
- Опубликована
- 11 фев 2025
Ссылки
GEMeX-VQA-Model-Simple
Дообученная на GEMeX-VQA модель LLaVA-Med отвечает текстом на вопросы о медицинских изображениях.
142скачиваний за 30 дней1лайквеса обновлены12 фев 2025
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
BoKelvin/GEMeX-VQA-Model-Simple — дообученная мультимодальная модель для ответов на вопросы о медицинских изображениях. Разработчик дообучил LLaVA-Med на датасете GEMeX-VQA; модель построена на базе microsoft/llava-med-7b-delta и использует архитектуру LlavaLlamaForCausalLM. Она содержит 6,6 млрд параметров и опубликована в формате PyTorch.
Модель принимает изображение и текстовый вопрос и генерирует текстовый ответ. Её основная задача — визуальные вопросы и ответы в биомедицинском контексте; метаданные также указывают text-generation как поддерживаемую задачу. Репозиторий распространяется по лицензии Apache-2.0.
Модель предназначена для исследований и прототипирования систем анализа медицинских изображений. Ответы модели не следует считать клиническим заключением: точность и применимость зависят от типа изображения и формулировки вопроса.
Сценарии применения
- ответы на вопросы по медицинским изображениям
- создание прототипа визуального помощника для биомедицинских исследований
- генерация текстовых описаний медицинских изображений
- анализ изображений в исследовательских наборах данных
Ограничения
Модель предназначена для биомедицинских изображений и не должна рассматриваться как замена клинической оценке. Языки и длина контекста не подтверждены предоставленными данными.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделейIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейI.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Архитектура llava_custom неизвестна transformers в образе рантайма.
- Класс архитектуры
- LlavaLlamaForCausalLM
- Ревизия весов
- 2e78555