I.8Изображения и компьютерное зрение

LocateAnything-3B-GGUF — мультимодальная модель для визуального заземления объектов и областей на изображениях. Исходную модель разработала NVIDIA, а данный репозиторий содержит её GGUF-конверсии, подготовленные yuuko-eth для работы с llama.cpp и мультимодальным стеком mtmd. Модель принимает изображение и текстовый запрос на английском языке, после чего возвращает метку объекта или области и координаты ограничивающей рамки либо точки в нормализованном диапазоне 0–1000. Архитектура включает vision tower MoonViT-SO-400M, Eagle MLP и языковую модель Qwen2.5-3B. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; для работы каждому варианту языковой модели требуется отдельный vision projector mmproj в формате BF16. Модель подходит для поиска объектов, регионов интерфейса, текста на изображении, отдельных точек и нескольких экземпляров по описанию. К сильным сторонам относятся компактные квантизованные варианты и близкое к BF16 качество у Q4_K_M и более высоких разрядностей. Для запуска требуется специальная ветка llama.cpp с интеграцией LocateAnything mtmd; стандартная версия llama.cpp эти GGUF-файлы не загружает. При использовании llama-server необходим параметр --special, иначе координаты, представленные управляющими токенами, не будут выведены. Проверена работа с одним изображением и одним запросом; пакетная обработка нескольких изображений в llama-server не валидирована. Для некоторых CUDA-бэкендов может потребоваться отключение flash attention из-за vision head_dim=72. Лицензия NVIDIA разрешает только некоммерческое и исследовательское использование; коммерческое использование зарезервировано за NVIDIA и её аффилированными лицами.

MLCD — визуальная модель DeepGlint-AI для извлечения признаков изображений. Она использует архитектуру Vision Transformer ViT-L/14 с разрешением 336 пикселей, аналогичную CLIP, и содержит около 402,7 млн параметров. Модель обучена на общедоступных парах изображение–описание из наборов LAION400M и COYO700M. Модель предназначена для получения визуальных представлений, которые можно использовать в мультимодальных системах и задачах классификации изображений. В README приведены эксперименты с заменой визуального энкодера CLIP в LLaVA-NeXT с языковой моделью Qwen2.5-7B, а также оценки линейного пробирования на наборах данных, включая Food101 и CIFAR-10. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache-2.0. В README отмечено, что более высокое разрешение благоприятно для OCR; данная модель имеет разрешение 336 пикселей, а модели с большим разрешением на момент публикации ещё обучались.

PS3_Lang-1.5K-SigLIP2 — визуальный энкодер NVIDIA на основе дообученной Google SigLIP2, предназначенный для извлечения признаков из изображений высокого разрешения. Модель принимает RGB-изображения размером до 1512 × 1512 и возвращает тензор визуальных эмбеддингов для последующей обработки другой моделью. Архитектура основана на Vision Transformer и поддерживает выбор участков изображения по визуальной значимости или текстовым подсказкам, а также преобразование признаков в многомасштабные карты. Модель рассчитана на исследовательскую и разработческую работу с высокодетальными изображениями; NVIDIA указывает оптимизацию для GPU, включая Ampere, Blackwell, Hopper и Jetson. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях. Энкодер сам по себе не формирует текстовые описания и требует downstream-модель для использования извлечённых признаков. В README не приведены результаты тестирования этой модели; для оценки качества на конкретных данных потребуется отдельная проверка.

Это визуальный энкодер семейства Qwen, перенесённый в формат timm из весов зрительной части Qwen3.8-27B. Модель извлекает признаки изображений: `forward_features()` возвращает необработанные пространственные признаки, а вариант `_enc` выдаёт пространственно объединённые токены. Весов языковой модели и обученной классификационной головы в чекпойнте нет. Энкодер поддерживает изображения RGB прямоугольной формы. Для входных пикселей используются нормализация со средним и стандартным отклонением 0,5 на канал; размеры сторон должны делиться на 16, а варианты с объединением 2×2 — на 32. Архитектура использует MLP с GELU-tanh, обучаемые абсолютные позиционные эмбеддинги и двумерный осевой RoPE. В README указаны размер изображения 768×768, ширина backbone 1152 и ширина проекции 5120. Чекпойнт содержит около 459,8 млн параметров и опубликован в формате safetensors. По README, это нативное отображение исходных весов в timm без дополнительного обучения; лицензия — Apache 2.0. Он предназначен для извлечения визуальных признаков и пространственных токенов, но сам по себе не выполняет диалоговые задачи или классификацию изображений без добавления соответствующих компонентов.

Это визуальный энкодер семейства Qwen, представленный в timm как извлечённая из Qwen3-VL-30B-A3B-Instruct модель признаков изображений. Чекпойнт содержит нативно преобразованные веса vision-энкодера с пространственным объединителем и проекцией на ширину исходной языковой модели; дополнительного обучения не проводилось. Размер модели — 445,7 млн параметров, ширина backbone — 1152, ширина проекции — 2048; исходный размер изображения — 768 × 768. Модель предназначена для получения пространственных признаков и токенов изображений в задачах компьютерного зрения и мультимодальных конвейерах. Она принимает RGB-изображения, поддерживает прямоугольные размеры, а для вариантов с объединителем 2×2 размеры сторон должны делиться на 32; в остальных описанных случаях — на 16. Вход нормализуется со средним и стандартным отклонением 0,5 для каждого канала. Энкодер не содержит весов языковой модели и обученной головы классификации, поэтому сам по себе не генерирует текст и не выдаёт классы. Модель выпущена под лицензией Apache 2.0. Она формирует признаки для последующей обработки, но не включает проекторы DeepStack из Qwen3-VL; промежуточные карты признаков доступны отдельно. Высокая вычислительная стоимость указана в карточке: 1297,8 GMACs.

Это визуальный энкодер семейства Qwen3-VL, опубликованный в формате timm и извлечённый из Qwen/Qwen3-VL-32B-Instruct. Модель преобразует изображения в пространственные признаки и токены слияния; языковых весов и обученной классификационной головы в чекпойнте нет. Параметры энкодера включают визуальный backbone шириной 1152 и проекцию шириной 5120; размер изображения в карточке — 768 × 768, поддерживаются прямоугольные входы. Архитектура использует GELU-tanh MLP, обучаемые абсолютные позиции и осевое 2D RoPE; доступны промежуточные карты признаков. Реализация предназначена только для изображений: временное ядро исходного Conv3d сведено к Conv2d. Размеры изображения должны делиться на 16, а для вариантов с merger 2×2 — на 32. Веса преобразованы в формат timm без дополнительного обучения. Лицензия — Apache 2.0.

SenseNova-U1.5-8B-MoT-8step-4bit — артефакт модели SenseNova-U1.5-8B-MoT от SenseTime для компьютеров Apple Silicon, подготовленный для запуска через MLX и MLX-Swift. Это плотная мультимодальная архитектура NEO-unify Mixture-of-Transformers: она поддерживает генерацию изображений по тексту, редактирование изображений по инструкции и ответы на вопросы об изображениях. Генерация использует pixel-space rectified flow без VAE. Веса квантизированы до 4 бит с размером группы 64. Вариант предназначен для быстрой генерации и редактирования на компьютерах Mac, в том числе с 16 ГБ памяти; в README приведены показатели на M5 Max — 1024×1024 за 3,2 секунды и 2048×2048 за 15,8 секунды. LoRA-дистилляция сокращает генерацию до 8 шагов; адаптер затрагивает проекции потока генерации, а поток понимания для VQA остаётся от базовой модели. Квантизация может менять результат генерации при фиксированном seed, хотя автор описывает такие изображения как равноценные по качеству; для более близкого к bf16 результата рекомендуется 8-битный вариант. Для работы требуется runtime sensenova-u1-swift версии не ниже 0.5.1 для редактирования и VQA. Лицензия — Apache-2.0.

SenseNova-U1.5-8B-MoT-bf16 — модель SenseTime, представленная сообществом mlx-community как артефакт для Apple Silicon и MLX. Это вариант базовой SenseNova-U1.5-8B-MoT с весами в формате bf16; архитектура NEO-unify Mixture-of-Transformers объединяет генерацию изображений по тексту, редактирование изображений и ответы на визуальные вопросы. Для генерации используется rectified flow в пространстве пикселей без VAE. Модель предназначена для генерации изображений, редактирования по инструкциям, визуальных вопросов и режима рассуждения; метаданные также отмечают чат и интерфейс вызова инструментов. Для работы требуется среда MLX-Swift, а заявленный профиль производительности рассчитан на устройства Apple Silicon с большим объёмом памяти. Репозиторий распространяется по лицензии Apache-2.0.

amaye15/Beit-Base-Image-Orientation-Fixer — модель классификации изображений, дообученная на базе microsoft/swinv2-base-patch4-window16-256. По названию она предназначена для определения ориентации изображения и её исправления через выбор соответствующего класса, однако README не уточняет классы и способ применения предсказания. Модель построена на архитектуре SwinV2 и содержит 119,5 млн параметров; опубликована в формате Safetensors для Transformers. В README приведены результаты на оценочной выборке: loss 0,1295 и F1 0,9391. Сведения о наборе данных, языковой поддержке и ограничениях применения не раскрыты. Лицензия — Apache-2.0.

Модель nsugianto/detr-resnet50_finetuned_lstabledetv1s9_lsdocelementdetv1type3_session3 — дообученная версия DETR с архитектурой DetrForObjectDetection, опубликованная nsugianto. Она предназначена для обнаружения объектов на изображениях и выдачи классов объектов вместе с их ограничивающими рамками. В карточке указаны 6,3 млн параметров и формат safetensors; модель опубликована 11 апреля 2024 года. Датасет, классы объектов и результаты оценки не описаны, поэтому пригодность модели для конкретных типов изображений определить нельзя. Лицензия в предоставленных данных не указана.

Florence-2-base-0.5B — компактная визуально-языковая модель семейства Florence-2, дообученная разработчиком репозитория neuromorphic-research на основе florence-community/Florence-2-base-ft. Модель содержит около 0,23 млрд параметров и предназначена прежде всего для обнаружения объектов на изображениях: README сообщает о результате mAP 0,438 на 150 изображениях COCO val2017 в описанном авторами сравнении. Также заявлена поддержка визуального вопросно-ответного режима и поиска объектов по текстовому описанию. Модель принимает изображения и текстовые запросы, а формирует текстовое представление результатов визуальных задач, в том числе обнаруженных объектов и ответов на вопросы. Обучение включало COCO, RefCOCO, VQAv2, GQA, TallyQA и PixMo-Count. По заявлению авторов, модель сильна именно в обнаружении объектов; в сравнении из README она уступает Qwen3-VL-4B на VQA и grounding. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

LISA-13B-llama2-v1 — мультимодальная модель проекта LISA, разработанного исследовательской группой JIA-Lab под руководством Xin Lai и соавторов. Она построена на основе LLaVA и Llama 2 13B и предназначена для reasoning segmentation: по изображению и сложному текстовому запросу модель определяет целевой объект или область, формирует сегментационную маску и может дать текстовое объяснение результата. Проект поддерживает визуальные вопросы, использование мировых знаний, сложное рассуждение и многошаговый диалог.

Moondream 2B 2025-04-14 4-bit — компактная vision-language модель проекта Moondream, связанного с репозиторием vikhyat/moondream. Она предназначена для эффективного запуска задач, объединяющих изображения и текст, включая создание подписей к изображениям, визуальные вопросы и ответы, обнаружение объектов и указание координат объектов на изображении. Модель использует 4-битное представление и имеет размер класса 2B параметров. Для этой версии применялось quantization-aware training: заявлено снижение потребления памяти на 42% при падении точности на 0,6%. На Nvidia RTX 3090 модель использует около 2450 МБ видеопамяти и работает со скоростью около 184 токенов в секунду. Поддерживаются потоковая генерация для подписей и обнаружения объектов, а также компиляция для ускорения обработки больших наборов изображений. В README не указаны архитектурные детали, поддерживаемые языки и размер контекста, поэтому эти характеристики нельзя определить по представленным данным. Для работы требуются Python-пакеты Pillow и torchao, а также загрузка через transformers с разрешением trust_remote_code. Модель распространяется по лицензии Apache-2.0.

Ovis-U1-3B — мультимодальная модель семейства Ovis от AIDC-AI, дообученная на базе AIDC-AI/Ovis2-2B. Модель объединяет понимание изображений, генерацию изображений по тексту и редактирование изображений по инструкциям в единой архитектуре OvisU1 с 3 млрд параметров. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Модель подходит для диалога с визуальными входными данными, описания и анализа изображений, создания изображений по текстовым запросам и изменения существующих изображений. В карточке Hugging Face указан английский язык. Лицензия — Apache-2.0. Разработчик отмечает, что применял проверки соответствия при обучении, но не гарантирует полного отсутствия проблем с авторскими правами или нежелательного контента. Представленные в README сравнительные таблицы не содержат строк с результатами самой Ovis-U1-3B, поэтому по ним нельзя оценить её качество.

toilaluan/raev2-dinov3l-k7 — самодостаточная модель RAEv2 первого этапа с предварительно обученным энкодером DINOv3-L и декодером общего назначения DINOv3-L K7. Она предназначена для кодирования изображений в латентное представление и восстановления RGB-изображений из него; метаданные классифицируют её как image-to-image. Для работы требуется Transformers версии 4.56 или новее. Декодер возвращает необработанный RGB-прогноз без ограничения диапазона или масштабирования, а статистики сдвига и масштаба латентного пространства в репозиторий не включены.

SAILViT-Huge-600M-448px — зрительная модель семейства SAILViT, опубликованная BytedanceDouyinContent. Она предназначена для извлечения признаков изображений и может использоваться как визуальный компонент мультимодальных больших языковых моделей, а также для визуального распознавания и классификации изображений. Модель содержит 679,5 млн параметров, использует патчи размером 14 пикселей и входное разрешение 448 × 448. Она дообучена на основе apple/aimv2-large-patch14-448. В README описан поэтапный процесс обучения для уточнения визуальных представлений и согласования их с семантикой языковых моделей. В приведённых авторами сравнительных результатах SAILViT-Huge показывает конкурентные результаты на ImageNet-1k, ImageNet-A и ImageNet-R. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель обрабатывает изображения и выдаёт признаки; README не уточняет детали интерфейса использования или ограничения по данным и аппаратным ресурсам.

SenseNova-U1.5-8B-MoT-8bit — SenseTime разработала базовую мультимодальную модель SenseNova-U1.5-8B-MoT, а mlx-community подготовило её артефакт для Apple Silicon с библиотекой MLX. Это архитектура NEO-unify Mixture-of-Transformers с двумя потоками трансформера, квантированными до 8 бит с группой 64; эмбеддинги, lm_head, нормализации и компоненты обработки изображений оставлены в высокой точности. Модель предназначена для генерации изображений по тексту, редактирования изображений и ответов на вопросы о визуальном содержимом. В основе генерации лежит pixel-space rectified flow без VAE. Карточка сообщает о режиме рассуждений, включаемом параметром --think, и о высокой близости результатов к эталонной реализации PyTorch. Лицензия — Apache-2.0. Модель представлена как артефакт для Apple Silicon и MLX; сведения о языках и длине контекста в предоставленных данных отсутствуют.

Карточка модели developerjeremylive/SenseNova-U1-8B-MoT-etheroi на Hugging Face совпадает с карточкой sensenova/SenseNova-U1-8B-MoT, поэтому описание составлено по ней. SenseNova-U1-8B-MoT — мультимодальная модель SenseNova на архитектуре NEO-unify, объединяющая понимание, рассуждение и генерацию текста и изображений в одной системе. Это плотная модель семейства NEOChat с 8 млрд параметров; карточка описывает нативную обработку изображений и текста без отдельных визуального энкодера и VAE, а также генерацию текста и изображений в чередующемся формате. Модель предназначена для анализа изображений, визуальных рассуждений, редактирования и создания изображений, включая инфографику, постеры и другие материалы с насыщенной информацией. Поддерживаются английский и китайский языки. Для запуска README приводит Transformers и рекомендует для производственного обслуживания связку LightLLM и LightX2V. Модель распространяется по лицензии Apache-2.0. README заявляет высокие результаты на ряде бенчмарков, однако подробные численные результаты в предоставленном тексте отсутствуют.

Skywork-UniPic-1.5B — авторегрессионная мультимодальная модель Skywork с 1,5 млрд параметров, обученная с нуля. Она объединяет понимание изображений, генерацию изображений по тексту и редактирование изображений в одной архитектуре. Репозиторий использует Transformers и содержит веса в форматах PyTorch и safetensors; заявлена лицензия MIT. Модель предназначена для ответов на запросы об изображениях, создания изображений по текстовым описаниям и редактирования изображений по инструкциям. В README приведены результаты бенчмарков GenEval, DPG-Bench и GEditBench-EN. Редактирование изображений описано как исследовательская возможность, ещё не готовая к производственному применению.

czczup/textnet-tiny — компактная модель семейства TextNet для извлечения признаков изображения в задачах обнаружения текстовых областей. Разработчики описывают TextNet как эффективную архитектуру для детекции текста; в репозитории используется класс TextNetBackbone и формат safetensors. В README приведены варианты TextNet-T, TextNet-S и TextNet-B размером 6,8 млн, 8,0 млн и 8,9 млн параметров соответственно, однако размер именно этой версии tiny не уточнён. Модель предназначена для обнаружения текста в естественных сценах и документах, включая многоязычный и разноориентированный текст. README сообщает о предварительном обучении на IC17-MLT и дообучении на Total-Text для сравнительных экспериментов, а также о компромиссе между точностью и скоростью инференса на GPU. Карточка не содержит сведений о лицензии; готовое распознавание текста из изображения не заявлено, модель извлекает признаки для последующих этапов обработки.

UniPic2-Metaquery-GRPO-Flash — квантизированный вариант мультимодальной модели UniPic2-MetaQuery-GRPO от Skywork. Модель предназначена для сквозного понимания изображений, генерации изображений по текстовому запросу и редактирования изображений. Модель использует авторегрессионный унифицированный подход и распространяется в формате safetensors. В README заявлена работа на видеокартах NVIDIA RTX 40-й серии с объёмом видеопамяти менее 16 ГБ без потери качества; подробности метода квантизации и параметры модели не приведены. Лицензия — MIT.

V-JEPA 2 — видеомодель для понимания визуального содержимого, разработанная FAIR в Meta. Эта версия содержит архитектуру VJEPA2Model с плотной структурой и 1,3 млрд параметров; веса опубликованы в формате safetensors и предназначены для работы через Transformers. Модель кодирует видео и изображения для классификации видео, поиска похожих видеоматериалов и использования в качестве видеокодировщика для мультимодальных языковых моделей. Для видео требуется подавать 64 кадра; изображение можно повторить до нужного числа кадров. Модель ориентирована на визуальные данные и не заявляет поддержку конкретных естественных языков. Репозиторий распространяется по лицензии Apache-2.0. README описывает возможности понимания видео, но не приводит количественных оценок качества или подробных ограничений по применению.

DeepSeek-ViT — пакет весов визуальной башни DeepSeek-V4.1-Flash и двухслойного MLP-проектора, подготовленный Immanuel Peter на основе чекпойнта DeepSeek. Модель предназначена для извлечения признаков из изображений и передачи визуальных представлений в мультимодальные системы. Визуальная башня DeepSeekV41ViT содержит 32 слоя, скрытый размер 1024, 16 голов внимания и промежуточный размер 2816; используются патчи размером 14 и 2D-RoPE. Перед проектором выполняется сжатие токенов через pixel-unshuffle с дополнением. Веса сохранены в формате BF16 внутри файлов Safetensors. Репозиторий не содержит файлов моделирования Transformers или конфигурации препроцессора, поэтому AutoModel.from_pretrained не загружает его; для извлечения признаков README указывает пример inference.py. Модель подходит для получения визуальных признаков в составе мультимодальных конвейеров. Лицензия — MIT. README сообщает, что веса башни и проектора сверены с родительским чекпойнтом побитовым сравнением.

FLUX.2-dev-NVFP4 — квантизированная версия модели FLUX.2 [dev], разработанной Black Forest Labs. Это трансформер rectified flow с 32 млрд параметров для генерации, редактирования и комбинирования изображений по текстовым инструкциям; репозиторий содержит варианты NVFP4 и смешанный NVFP4/BF16. Модель предназначена для сценариев преобразования изображения по текстовому запросу. Для работы используется библиотека Diffusers, веса опубликованы в формате Safetensors. Карточка не сообщает длину контекста и условия лицензии: в метаданных указана лицензия other. Указан английский язык. Конкретные ограничения качества или области применения в README не описаны.

Это зеркальная копия FLUX.2 [klein] 4B от Black Forest Labs, сохранённая для воспроизводимой сборки Beenga Image. Веса побайтно совпадают с указанной в карточке ревизией исходного репозитория; модель не изменялась и не дообучалась. Подходит для генерации изображений по тексту и редактирования изображений, в том числе с несколькими референсами, согласно метаданным каталога. Модель распространяется в форматах Diffusers и Safetensors по лицензии Apache-2.0. Для актуальной версии и исправлений карточка рекомендует обращаться к исходному репозиторию Black Forest Labs.

Gestalt — мультимодальная модель, разработанная командой авторов, указанных в карточке проекта. Она построена на архитектуре GestaltModelLM и использует единую дискретную диффузионную схему с обучаемыми interplay-токенами для обмена информацией между модальностями. В карточке заявлено 8 млрд + 0,6 млрд параметров. Модель предназначена для мультимодального понимания и генерации, включая совместную работу с текстом и изображениями. Обучение включало мультимодальную предтренировку, продолжение предтренировки этого чекпойнта и последующую настройку по инструкциям; для кодирования и декодирования изображений требуется отдельный IBQ-токенизатор TencentARC/IBQ-Tokenizer-16384. Репозиторий содержит веса Safetensors и предназначен для использования с Transformers. Модель новая, опубликована в сентябре 2026 года, поэтому её зрелость и практическое качество пока трудно оценить по карточке. Метаданные указывают английский язык карточки, но не устанавливают полный перечень поддерживаемых языков. Лицензия — Apache-2.0.

Janus-Pro-7B — мультимодальная авторегрессионная модель сообщества DeepSeek, объединяющая понимание изображений и генерацию изображений с обработкой текста. В карточке указано, что семейство Janus-Pro построено на базовой модели DeepSeek-LLM-7B и использует единую архитектуру трансформера с раздельными путями визуального кодирования для понимания и генерации. Для понимания изображений применяется энкодер SigLIP-L с поддержкой входа 384 × 384 пикселя; для генерации изображений используется отдельный токенизатор с понижением разрешения в 16 раз. Модель предназначена для ответов на вопросы об изображениях и создания изображений по текстовым запросам. Метаданные указывают архитектуру JanusForConditionalGeneration, библиотеку Transformers и формат весов safetensors; модель опубликована по лицензии MIT. Карточка описывает Janus-Pro как универсальную мультимодальную систему, способную объединять визуальное понимание и генерацию в одном фреймворке.

Lance — мультимодальная модель ByteDance Research, предназначенная для генерации и редактирования изображений и видео, а также для понимания визуального содержимого. Она объединяет эти задачи в одной системе и поддерживает текстовые запросы, входные изображения и видео. В README указаны задачи генерации изображений и видео по тексту, редактирования изображений и видео, а также ответы на вопросы и создание описаний по изображениям и видео. В карточке модель описана как система с 3 млрд активных параметров, обученная с нуля по многоэтапной схеме совместного обучения задачам. Базовая модель в метаданных указана как Qwen/Qwen2.5-VL-3B-Instruct, но README сообщает об обучении Lance с нуля. Контрольная точка доступна в формате safetensors. Для инференса требуется GPU с не менее чем 40 ГБ видеопамяти; в README описано обучение генерации изображений до 768×768 и видео до 480p при 12 кадрах в секунду. Lance представлена как исследовательский проект, а не готовый продукт: качество результатов может меняться в зависимости от запроса, разрешения, длительности, сложности движения и сценария редактирования. Лицензия — Apache-2.0.

Migician — мультимодальная модель You Li и соавторов для локализации объектов и других свободно сформулированных запросов сразу по нескольким изображениям. Она дообучена на базе Qwen/Qwen2-VL-7B-Instruct и использует плотную архитектуру Qwen2-VL с 7,1 млрд параметров. Модель принимает изображения и текстовые инструкции, а координаты областей выдаёт в текстовом формате; контекст составляет до 32 768 токенов. Модель предназначена прежде всего для многокадрового визуального grounding: например, чтобы найти упомянутый объект на одном или нескольких изображениях и вернуть его координаты. Авторы также сообщают о конкурентных результатах на тестах общего понимания нескольких изображений. Веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0.

PaliGemma 2 10B PT — базовая мультимодальная модель Google для обработки изображений и текста. Она сочетает визуальный энкодер SigLIP с языковой моделью Gemma 2; опубликованы веса bfloat16 для дообучения. Модель принимает изображения размером 224×224 и текстовые последовательности до 128 токенов на входе и выходе, поддерживает несколько языков и генерирует текст. Модель предназначена прежде всего для дообучения под задачи компьютерного зрения и языка: описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Её также можно адаптировать для анализа спутниковых снимков, помощи незрячим пользователям, научных вопросов и описания функций элементов интерфейса. Лицензия — Gemma; использование регулируется условиями и политикой допустимого использования Gemma. Это базовая модель для специализированного дообучения, а не готовый универсальный чат-бот: она рассчитана на один раунд взаимодействия с изображением и текстом. На сложных или открытых запросах может ошибаться, выдавать устаревшие факты и испытывать трудности с нюансами языка и здравым смыслом. Результаты распознавания и генерируемые сведения требуют проверки; при внедрении следует учитывать возможные смещения и риски вредного контента.