M3D-LaMed-Phi-3-4B

M3D-LaMed-Phi-3-4B — мультимодальная медицинская модель, разработанная командой проекта M3D для анализа трёхмерных медицинских изображений. Она объединяет предварительно обученный на медицинских данных 3D-визуальный энкодер M3D-CLIP с языковой моделью Phi-3 и предназначена для генерации текстовых ответов по объёмным снимкам. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру LamedPhi3ForCausalLM, поддерживает контекст до 4096 токенов и распространяется под лицензией Apache-2.0.

Модель подходит для составления описаний и отчётов по 3D-снимкам, визуальных вопросов и ответов, поиска и описания объектов, а также сегментации с текстовыми подсказками. Для стандартного входа объёмы изображений требуется предварительно привести к формату и размеру, описанным в руководстве проекта; команда отмечает, что обучение проводилось на 3D, а не на 2D изображениях. Репозиторий проекта указывает, что версия Phi-3-4B была выпущена после предварительного тестирования, а подробные эксперименты ещё проводились.