VirTues-M2 — фундаментальная модель Bunnellab для биологии тканей, совместно обученная на стандартных H&E-гистологических изображениях и пространственной мультиплексной протеомике. Она использует раннее объединение модальностей: отдельные токенизаторы кодируют RGB-изображения H&E и каналы протеомики, после чего общая архитектура vision transformer обрабатывает их совместное представление. Идентичность белковых маркеров включается в протеомные токены с помощью эмбеддингов белковой foundation-модели, что позволяет работать с разными панелями маркеров.

Модель предназначена для извлечения признаков и построения представлений тканей, пригодных для анализа фенотипов тканей и клеток, прогнозирования ответа на лечение, сегментации, виртуального окрашивания, поиска биомаркеров и адаптивного выбора панели маркеров. Предобучение проводилось на открытой коллекции пространственной протеомики: 17 275 тканей от 5 849 пациентов из 37 исследований, полученных с помощью PhenoCycler (CODEX), Orion, IMC и MIBI; данные H&E были частично сопоставлены с протеомными.

Ранняя схема объединения модальностей рассчитана на вариативные панели маркеров и устойчивость к отсутствующим модальностям, неполным парам и несовершенному совмещению изображений. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.