I.8Изображения и компьютерное зрение

LFM2.5-VL-450M-Extract — компактная мультимодальная модель Liquid AI для извлечения заданных пользователем полей из изображений. В запросе задают схему полей в YAML, а модель возвращает объект JSON; также поддерживаются перечисления допустимых значений. Модель построена на архитектуре LFM2-VL с визуальным энкодером SigLIP2 и гибридным свёрточно-внимательным бэкбоном. README указывает 350 млн параметров языковой части и около 100 млн параметров энкодера; в метаданных размер не приведён. Модель предназначена для структурированного извлечения визуальных атрибутов в производственных конвейерах: например, для разметки товарных изображений или обнаружения событий безопасности. Её можно использовать без дообучения либо адаптировать для конкретного домена. В описанном бенчмарке для одиночного изображения, схемы YAML и плоского JSON модель показала 98,9% валидности JSON и 98,8 F1 согласованности схемы. Эти результаты не следует переносить на многокадровые рассуждения и свободные визуальные вопросы. Карточка не сообщает конкретную лицензию: в метаданных указано значение «other».

PP-DocLayout_plus-L — модель обнаружения и локализации областей макета документов, разработанная командой PaddlePaddle для экосистемы PaddleOCR. Она предназначена для анализа изображений китайских и англоязычных документов, включая научные статьи, презентации, журналы, газеты, договоры, книги, экзаменационные материалы, учебники и исследовательские отчёты. Модель выделяет 20 типов элементов: заголовки документов и разделов, текст, номера страниц, аннотации, таблицы, ссылки, сноски, колонтитулы, алгоритмы, формулы и их номера, изображения, печати, подписи к таблицам и рисункам, диаграммы, боковой текст и списки литературы. В основе используется архитектура RT-DETR-L. Модель работает с изображениями и применяется как компонент конвейера layout detection, например для последующего OCR и структурированного извлечения содержимого. На внутреннем наборе данных PaddlePaddle, содержащем около 1000 типов документов, заявлено значение mAP@0.5 83,2%; этот показатель характеризует точность обнаружения областей на указанном наборе и может не отражать результаты на других данных. README не указывает размер модели, максимальный контекст или дополнительные модальности. Для запуска предусмотрены PaddleOCR и ONNX Runtime, включая GPU-вариант. Модель распространяется по лицензии Apache 2.0.

PP-DocLayoutV2 — лёгкая модель PaddlePaddle для анализа структуры документов. Она обнаруживает и классифицирует элементы макета, а затем определяет порядок их чтения. Архитектура состоит из детектора на основе RT-DETR и следующей за ним pointer network, которая упорядочивает найденные рамки и метки классов. Модель предназначена для обработки страниц документов: выявления структурных элементов и восстановления последовательности чтения. В метаданных указаны английский и китайский языки, библиотека PaddleOCR и формат весов safetensors. Лицензия — Apache-2.0.

Table Transformer Structure Recognition — модель обнаружения объектов на базе DETR, дообученная Microsoft на наборе PubTables1M для распознавания структуры таблиц в документах. Она находит элементы таблицы, включая строки и столбцы, на изображении или фрагменте документа. Модель построена на Transformer-архитектуре с нормализацией перед слоями self-attention и cross-attention. Веса содержат 6,3 млн параметров; модель опубликована в форматах PyTorch и Safetensors. Лицензия — MIT. Модель подходит для извлечения структуры таблиц из документов и последующей обработки их содержимого. Карточка описывает обнаружение строк и столбцов, но не заявляет о распознавании текста внутри ячеек; для полного извлечения данных может потребоваться отдельный OCR-компонент.

Table Transformer (TATR) — модель обнаружения объектов на основе Transformer, эквивалентная DETR. Она обучена на наборах PubTables1M и FinTabNet.c для распознавания структуры таблиц в документах. Вариант structure-recognition-v1.1-all предназначен для выявления элементов таблиц на изображениях документов. Модель можно применять для анализа структуры таблиц и обнаружения их компонентов в документе. В архитектуре используется нормализация до вычисления self-attention и cross-attention. Размер модели — 6,3 млн параметров; веса доступны в формате safetensors. Модель выпущена Microsoft под лицензией MIT. README описывает обнаружение таблиц и распознавание их структуры, но не приводит подробностей о поддерживаемых языках или предельных размерах изображений. Для извлечения текста из ячеек потребуется отдельный этап OCR.

Table Transformer Structure Recognition v1.1 — модель Microsoft для распознавания структуры таблиц в документах. Она обучена на наборе PubTables1M и основана на DETR: Transformer-архитектура использует нормализацию перед слоями self-attention и cross-attention. Модель содержит 6,3 млн параметров и предназначена для обнаружения элементов структуры таблицы на изображении документа, например для последующего извлечения таблиц и их содержимого. Модель принимает изображения документов и выдаёт обнаруженные объекты и их расположение. Она распространяется в формате safetensors по лицензии MIT. README не приводит сведений о поддерживаемых языках или ограничениях качества.

cho-embedding-0.8b — мультимодальная модель для получения эмбеддингов, разработанная на архитектуре Qwen3.5-0.8B и дистиллированная из Qwen3-VL-Embedding-8B. В модели 853 млн параметров, размерность эмбеддингов — 1024 с поддержкой MRL-размеров 256 и 64; длина контекста составляет 4096 токенов. Она принимает текст, изображения и их мультимодальные сочетания, формируя векторные представления для поиска и сравнения. Модель обучена методом полного дообучения с дистилляцией по KL-дивергенции и контрастивной функции на 3,4 млн мультимодальных примеров. В README приведены результаты на 36 задачах MMEB-Image, включая классификацию, визуальные вопросы, поиск и grounding. Репозиторий использует Transformers и формат safetensors; лицензия — Apache-2.0.

Florence-2-large-TableDetection — мультимодальная модель обнаружения таблиц на изображениях, созданная ucsahin дообучением microsoft/Florence-2-large-ft на выборке ucsahin/pubtables-detection-1500-samples. Она принимает изображение и текстовый запрос и предсказывает ограничивающие рамки таблиц. Модель предназначена для автоматизации поиска таблиц в документах и изображениях перед извлечением данных или дальнейшим анализом. Модель основана на архитектуре Florence-2 и распространяется в формате safetensors. В README приведён результат Loss 0.7601 на оценочной выборке; этот показатель сам по себе не описывает точность обнаружения и зависит от протокола оценки. Лицензия — MIT. Для загрузки в Transformers README указывает необходимость trust_remote_code=True.

Nemotron Table Structure v1 — разработанная NVIDIA специализированная модель компьютерного зрения для выделения структуры таблиц на изображениях. Она обнаруживает ячейки, строки и столбцы и возвращает для каждого объекта класс, координаты ограничивающей рамки и оценку уверенности. Модель построена на YOLOX с backbone DarkNet53 и FPN decoupled head; содержит около 54 млн параметров и обрабатывает RGB-изображения, приводимые к размеру 1024 × 1024. Модель предназначена для извлечения табличных данных из сканов и документов, в том числе в конвейерах обработки документов и enterprise-поиска. В сочетании с OCR она помогает сохранить связи между элементами таблицы и преобразовать её структуру для последующего анализа или представления в Markdown. NVIDIA сообщает о предварительном обучении на COCO train2017 и дообучении на изображениях Digital Corpora с разметкой Azure AI Document Intelligence. Для инференса требуются PyTorch и код из репозитория; модель оптимизирована для систем с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию по NVIDIA Open Model License Agreement; скрипты постобработки лицензированы Apache 2.0. Для распознавания текста модель следует использовать вместе с OCR: сама она выдаёт геометрию и классы элементов таблицы.

Table Transformer Detection — модель обнаружения объектов на основе DETR, дообученная на наборе данных PubTables1M для поиска таблиц в документах. Разработана командой Table Transformer; модель представлена в работе Smock и соавторов о комплексном извлечении таблиц из неструктурированных документов. Архитектура использует Transformer и настройку DETR «normalize before», при которой нормализация слоёв применяется перед self-attention и cross-attention. Размер модели — 6,3 млн параметров. Модель принимает изображения документов и выдаёт обнаруженные области таблиц. Её можно использовать как этап обработки сканов и других неструктурированных документов перед извлечением содержимого таблиц. В репозитории доступны веса PyTorch и Safetensors. Лицензия — MIT.

Aryn публикует Deformable DETR, обученную на DocLayNet для обнаружения и разметки элементов макета документов на страницах. Модель принимает изображение страницы и предсказывает классы элементов вместе с ограничивающими рамками; обучение проводилось на 80 тысячах аннотированных страниц с 11 классами. Архитектура использует свёрточную основу и encoder-decoder Transformer с запросами объектов, а для классификации и координат рамок применяются отдельные выходные слои. Модель подходит для анализа макета документов и может использоваться в Aryn Partitioning Service. На DocLayNet указана метрика 57,1 box mAP. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не приводит отдельного описания ограничений качества или поддерживаемых классов.

Jina CLIP v2 — модель мультимодальных эмбеддингов общего назначения, разработанная Jina AI. Она совместно обучает текстовый энкодер Jina-XLM-RoBERTa и визуальный энкодер EVA02-L14, чтобы представлять текст и изображения в общем векторном пространстве для поиска и сопоставления. Модель содержит около 0,9 млрд параметров: 561 млн в текстовом энкодере и 304 млн в визуальном. Она принимает текст длиной до 8192 токенов и изображения разрешением до 512 × 512 пикселей, формируя эмбеддинги размерностью до 1024; размер векторов можно сократить до 64 с помощью Matryoshka-представлений. Модель предназначена для мультиязычного поиска по изображениям и текстам, поиска похожих изображений и текстов, а также для извлечения признаков в мультимодальных приложениях. В README заявлена поддержка 89 языков для мультиязычного поиска изображений; метаданные перечисляют языковые коды лишь для части из них. По словам разработчиков, версия v2 улучшает результаты v1 на 3% в задачах поиска текст-текст и текст-изображение. Модель доступна в форматах PyTorch, ONNX и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с обязательной атрибуцией, но исключает коммерческое применение.

breezedeus/pix2text-table-rec — модель распознавания структуры таблиц для Pix2Text, основанная на Table Transformer и дообученная на наборах PubTables1M и FinTabNet.c. Это компактная модель на архитектуре DETR с Transformer-детектором объектов; в репозитории указано 6,3 млн параметров. Она предназначена для обнаружения таблиц и их элементов на изображениях документов, чтобы использовать результаты в конвейерах извлечения и распознавания табличной структуры. Модель принимает изображения документов и выдаёт обнаруженные объекты, в том числе области таблиц. Она описана как форк исходной модели Table Transformer с возможностью дальнейшего развития. Репозиторий распространяется по лицензии MIT. Карточка не приводит сведений о поддерживаемых языках или численном размере контекста; применимость зависит от качества изображения и соответствия документа типам таблиц, представленным в обучающих данных.

Это PyTorch-модель распознавания текста docTR CRNN VGG16-BN, созданная Mindee и размещённая rrainn как побайтовая копия официального предварительно обученного чекпойнта. Модель использует сверточный экстрактор признаков VGG16-BN, двунаправленный LSTM-декодер и CTC-декодирование для чтения текста на изображениях отдельных, уже выделенных слов. Лицензия — Apache-2.0. Модель предназначена для OCR-конвейеров: транскрибирования документов, распознавания текста в обрезанных изображениях слов, сравнительного тестирования OCR и инициализации дообучения для конкретного домена. Для обработки целых страниц её нужно сочетать с детектором текста; при использовании docTR соответствующую предобработку и декодирование обеспечивает recognition_predictor. Вход модели имеет форму 3 × 32 × 128 с RGB-каналами. Распознавание ограничено настроенным алфавитом латиницы и французского языка. Качество может снижаться на рукописном, изогнутом или вертикальном тексте, при размытии, низком контрасте и шрифтах, отличающихся от обучающих данных; состав этих данных подробно не раскрыт. Уверенность последовательности не гарантированно откалибрована, поэтому результатам для важных решений требуется проверка человеком и оценка на целевом наборе данных.

Карточка модели tomaarsen/jina-clip-v2 на Hugging Face совпадает с карточкой jinaai/jina-clip-v2, поэтому описание составлено по ней. Jina CLIP v2 — модель мультимодальных эмбеддингов общего назначения, разработанная Jina AI. Она совместно обучает текстовый энкодер Jina-XLM-RoBERTa и визуальный энкодер EVA02-L14, чтобы представлять текст и изображения в общем векторном пространстве для поиска и сопоставления. Модель содержит около 0,9 млрд параметров: 561 млн в текстовом энкодере и 304 млн в визуальном. Она принимает текст длиной до 8192 токенов и изображения разрешением до 512 × 512 пикселей, формируя эмбеддинги размерностью до 1024; размер векторов можно сократить до 64 с помощью Matryoshka-представлений. Модель предназначена для мультиязычного поиска по изображениям и текстам, поиска похожих изображений и текстов, а также для извлечения признаков в мультимодальных приложениях. В README заявлена поддержка 89 языков для мультиязычного поиска изображений; метаданные перечисляют языковые коды лишь для части из них. По словам разработчиков, версия v2 улучшает результаты v1 на 3% в задачах поиска текст-текст и текст-изображение. Модель доступна в форматах PyTorch, ONNX и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с обязательной атрибуцией, но исключает коммерческое применение.

PP-DocLayout-S — компактная модель PaddlePaddle для локализации областей и определения структуры на изображениях документов. Она построена на архитектуре PicoDet-S и обучена на собственном наборе китайских и английских научных статей, журналов, контрактов, книг, экзаменационных материалов и исследовательских отчётов. Модель распознаёт 23 категории элементов, включая заголовки, абзацы, основной текст, номера страниц, аннотации, содержание, ссылки, сноски, колонтитулы, формулы, таблицы, изображения, подписи и печати. Модель предназначена для обнаружения областей документа как компонента систем OCR и анализа структуры документов, в том числе конвейера PP-StructureV3. На собственном тестовом наборе из 500 изображений документов указано значение mAP@0.5 70,9%. Это показатель локализации элементов, а не готовое распознавание текста; для извлечения содержимого может потребоваться сочетание с OCR и другими модулями. Модель принимает изображения и выдаёт текстовые метки категорий и координаты областей. Лицензия — Apache-2.0.

PaddlePaddle/PP-DocLayoutV3_safetensors — веса PP-DocLayoutV3 в формате safetensors, подготовленные PaddlePaddle для использования с Transformers. Модель предназначена для анализа структуры документов, включая изображения с искривлёнными и неплоскими поверхностями: она обнаруживает элементы макета, предсказывает для них многоугольные рамки и определяет логический порядок чтения за один проход. Модель используется как компонент PaddleOCR-VL 1.5/1.6 и GLM-OCR для разбора документов. В карточке указана поддержка английского и китайского языков, а лицензия — Apache-2.0. Ограничение области применения: модель ориентирована на анализ макета документов и сама по себе не описана как универсальная система распознавания и понимания текста.

Qwen3-VisionCaption-2B-GGUF — мультимодальная модель для генерации описаний изображений и визуального анализа, разработанная prithivMLmods. Она основана на Qwen3-VisionCaption-2B, дообученной версии Qwen3-VL-2B-Instruct-abliterated-v1. Модель предназначена для создания подробных подписей к изображениям, анализа сложных сцен, художественных материалов, технических схем и чувствительного контента, а также для задач аннотации датасетов, исследований модерации и red-teaming, accessibility-инструментов и генеративной оценки безопасности. Модель работает с текстом и изображениями, поддерживает английский и китайский языки, а также многоязычный OCR для 32 языков. Заявлены пространственное понимание, обработка различных соотношений сторон, поддержка контекста до 256K токенов и возможность запуска на устройствах с ограниченными ресурсами через llama.cpp и совместимые платформы. Доступны варианты GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные мультимодальные проекционные файлы; размер файлов зависит от варианта и составляет примерно от 445 MB до 6,89 GB. К сильным сторонам относятся подробные и фактические описания, визуальное рассуждение, работа с многоязычным текстом на изображениях и поддержка эффективного локального инференса. Ограничения включают отсутствие приведённых количественных оценок качества и подробностей о требованиях к оборудованию. README также характеризует модель как uncensored и указывает на обход стандартных фильтров содержимого, поэтому при работе с чувствительными данными необходимы дополнительные меры безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

PP-OCRv6 — модель оптического распознавания символов, экспортированная для библиотеки React Native ExecuTorch в виде программ ExecuTorch .pte, готовых к запуску непосредственно на устройстве. Исходные компоненты разработаны PaddlePaddle и включают отдельные модели детектирования текста PP-OCRv6_small_det_safetensors и распознавания текста PP-OCRv6_small_rec_safetensors. Репозиторий software-mansion/react-native-executorch-pp-ocrv6 предоставляет их объединённые варианты для детектирования и распознавания текста на изображениях. Модель предназначена для OCR-сценариев в мобильных приложениях, включая поиск текстовых областей на изображении и преобразование обнаруженного текста в последовательность символов. Поддерживаются бэкенды Core ML, Vulkan и XNNPACK, а также варианты с точностью int8, fp16 и fp32. Размеры файлов составляют от 7,9 до 29,6 МБ. Выход распознавателя представляет собой распределение вероятностей по символам заданного набора; используется CTC, индекс 0 зарезервирован под blank. Точный состав языков и символов определяется файлом charset.json и в README не раскрыт. Файлы опубликованы для ExecuTorch v1.4.1; обратная совместимость с более старыми версиями не гарантируется. Core ML-вариант является многофункциональной моделью для операций detect и recognize, требует iOS 18 или новее и ExecuTorch не ниже 1.3; первая загрузка на устройстве выполняет однократную специализацию ANE для каждой формы входа. Лицензия репозитория — Apache-2.0.

Модель nsugianto/tblstructrecog_tuned_tbltransstrucrecog_noncomplex_complex_conlash_b5_1807s_lr1e6_dec1e5_bs4 — дообученная версия microsoft/table-transformer-structure-recognition для обнаружения структурных элементов таблиц в документах. Она использует архитектуру Table Transformer на базе DETR и содержит 6,3 млн параметров; веса опубликованы в формате safetensors. Модель принимает изображения и выдаёт рамки и классы обнаруженных элементов таблицы, например строк и столбцов. Модель подходит для разбора структуры таблиц на изображениях документов и может служить этапом в системах извлечения табличных данных. Датасет обучения, качество на тестах и конкретные ограничения в карточке не описаны. Лицензия — MIT.

BAAI разработала BGE-VL-v1.5-mmeb — мультимодальную модель эмбеддингов для поиска по изображениям и тексту. Она дообучена на базе llava-hf/llava-v1.6-mistral-7b-hf и использует архитектуру LLaVA-NeXT с плотным представлением; для работы применяется библиотека Sentence Transformers. Модель принимает текст, изображения и их сочетания, преобразуя запросы и объекты для поиска в эмбеддинги. Она предназначена для мультимодального поиска, поиска изображений по текстовому описанию и поиска с учётом текстового уточнения к исходному изображению. В README указано, что изображения при подаче следует масштабировать до 512×512; инструкции запроса помогают форматировать вход как поисковый запрос, а без них — как кандидата. В README сообщается о результатах на бенчмарках composed image retrieval и MMEB, включая сильные результаты в zero-shot сценариях. Модель распространяется по лицензии MIT. Карточка не приводит размер модели и длину контекста.

Conditional DETR с backbone ResNet-50, дообученная Tech4Humans для обнаружения рукописных подписей на изображениях документов. Модель принимает изображение документа и возвращает ограничивающие рамки объектов подписи. Она создана на основе microsoft/conditional-detr-resnet-50 и распространяется в формате safetensors; в метаданных указано 6,3 млн параметров. Обучение проводилось на наборе из 2 819 изображений документов с разметкой координат подписей, собранном из Tobacco800 и signatures-xc8up. В README для Conditional DETR приведён результат mAP@0.5 около 93,65% в сравнении архитектур; показатели в других таблицах относятся к отдельным экспериментам и моделям YOLO, поэтому их нельзя напрямую считать характеристиками этого чекпойнта. Модель предназначена для поиска областей подписей в потоке обработки документов. Лицензия — Apache-2.0.

PP-DocBlockLayout — модель PaddlePaddle для локализации областей контента в документах. Она обучена на собственном наборе данных с китайскими и английскими научными статьями, презентациями, журналами с разными макетами, договорами, книгами, экзаменами, старинными книгами и исследовательскими отчётами. В основе архитектуры лежит RT-DETR-L; модель определяет один класс объектов — Region. Модель предназначена для обнаружения блоков в изображениях документов как этапа анализа макета и обработки документов. В карточке указана mAP@0.5 95,9% на собственной тестовой выборке из изображений статей, журналов, газет, отчётов, презентаций, экзаменационных работ и учебников. Модель распространяется по лицензии Apache-2.0.

Мультиязычная модель sentence-transformers для сопоставления изображений с текстом в общем плотном векторном пространстве. Разработана командой sentence-transformers на основе OpenAI CLIP-ViT-B-32: текстовый энкодер DistilBERT обучен методом мультиязычной дистилляции, а энкодер изображений CLIP оставлен без изменений. Модель подходит для поиска изображений по текстовому запросу и мультиязычной классификации изображений без дообучения: названия классов задаются текстом. Текстовая часть рассчитана на 50+ языков; для русского это позволяет искать изображения и задавать текстовые метки на русском. Контекст составляет 512 токенов. Доступны реализации и веса в форматах PyTorch, safetensors, TensorFlow, ONNX и OpenVINO. Мультиязычная версия выравнивает текстовые представления с пространством оригинального CLIP, но качество может различаться между языками: README предупреждает, что на языках за пределами набора выравнивания результаты могут быть хуже. Лицензия — Apache-2.0.

SalML/DETR-table-structure-recognition — модель обнаружения объектов на основе DETR, предназначенная для распознавания структуры таблиц в документах. По карточке автор также создал Hugging Face Space, который применяет OCR к изображению с результатами Table Transformer и позволяет скачать таблицу в CSV. Модель содержит 6,3 млн параметров, использует PyTorch и обучена на PubTables-1M. Метаданные указывают английский язык; подходящий сценарий — выделение структурных элементов таблицы на изображении документа перед извлечением данных. Лицензия в метаданных обозначена как unknown.

RT-DETR-L_wired_table_cell_det — модель PaddlePaddle для обнаружения ячеек в изображениях таблиц. Она находит области ячеек и выдаёт их ограничивающие рамки, которые затем использует конвейер распознавания таблиц для дальнейшей обработки. README указывает на совместное тестирование точности с моделью RT-DETR-L_wireless_table_cell_det. Модель предназначена для этапа обнаружения ячеек в задачах распознавания таблиц и может использоваться как компонент общего конвейера PaddleOCR, который извлекает данные из таблиц и формирует HTML или Excel. В метаданных указаны PaddleOCR и языки en и zh; сама задача обнаружения ячеек ориентирована на визуальную структуру, а не на распознавание текста. Репозиторий распространяется по лицензии Apache-2.0. README не приводит отдельной оценки качества для этой модели: отмечено, что результат получен при совместном тестировании с вариантом для беспроводных таблиц.

RT-DETR-L_wireless_table_cell_det — модель PaddlePaddle для обнаружения ячеек в таблицах на изображениях. Она находит и размечает области ячеек ограничивающими рамками; эти рамки передаются следующим этапам распознавания таблиц для извлечения структуры и содержимого. Модель предназначена для использования как компонент конвейеров распознавания таблиц и анализа документов PaddleOCR, включая General Table Recognition V2 и PP-StructureV3. Карточка указывает, что приведённая точность получена при совместном тестировании с RT-DETR-L_wired_table_cell_det. Для полноценного преобразования таблицы в HTML или Excel требуются дополнительные модули распознавания структуры и текста. Репозиторий распространяется по лицензии Apache-2.0.

SLANet_plus — модель PaddlePaddle для распознавания структуры таблиц на изображениях. Она определяет расположение строк, столбцов и ячеек и преобразует таблицу в редактируемое представление, например HTML. Модель предназначена для использования как отдельный модуль распознавания или в составе конвейеров PaddleOCR и PP-StructureV3. В составе полного конвейера распознавание структуры может сочетаться с обнаружением и распознаванием текста, классификацией таблиц и анализом макета документа; конвейер способен формировать HTML или Excel. Карточка также показывает поддержку английского и китайского языков. Модель распространяется по лицензии Apache-2.0. Качество итогового распознавания зависит от остальных модулей конвейера: сама модель структуры таблиц не выполняет полный OCR и ограничена извлечением структуры табличной области.

BAAI/BGE-VL-base — мультимодальная модель эмбеддингов от BAAI для поиска и сопоставления изображений и текста. Она дообучена на базе openai/clip-vit-base-patch16 и относится к семейству CLIP; карточка описывает применение Sentence Transformers и Transformers. Модель кодирует текст, изображения или их сочетание в векторы, по которым можно вычислять сходство и искать подходящие изображения. В частности, она поддерживает поиск изображения по текстовому запросу, сравнение текста с изображениями и поиск по составному запросу из изображения и текстовой инструкции. Модель принимает текст и изображения, а также сочетания этих данных, и выдаёт эмбеддинги для последующего сравнения или поиска. Карточка указывает английский язык. Лицензия — MIT. Для загрузки модели в примерах требуется trust_remote_code=True.

BAAI/BGE-VL-MLLM-S1 — мультимодальная модель эмбеддингов для поиска по изображениям, разработанная BAAI и представленная в работе MegaPairs. Она принимает изображение, текст или их сочетание и кодирует входы в векторы для сравнения запросов с кандидатами. Текстовая инструкция позволяет задавать критерии поиска, в том числе для поиска изображения по тексту и изображению одновременно. Модель основана на LLaVA-NeXT с архитектурой Mistral-7B и дообучена для мультимодального поиска. Для изображений рекомендуется размер 512 × 512 пикселей; размерность эмбеддингов в примере Sentence Transformers — 4096. Модель предназначена для вычисления сходства между запросом и изображениями-кандидатами, а не для генерации описаний или ответов.