I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельQwen3.5-9B-MLX-4bit — это 4-битная квантованная версия мультимодальной модели Qwen3.5-9B, преобразованная сообществом mlx-community для запуска на устройствах Apple Silicon. Модель предназначена для задач vision-language, в частности для анализа изображений и генерации текстовых описаний по изображениям. Используется в формате MLX SafeTensors через фреймворк mlx-vlm. Модель имеет около 9 млрд параметров в исходной версии; применяется квантование до 4 бит с размером группы 64, а объём файлов составляет примерно 5,6 ГБ. Она поддерживает обработку изображений и текста, однако README не содержит сведений о поддерживаемых языках и размере контекстного окна. Основные сценарии — локальный запуск на Mac с процессорами Apple M1, M2, M3 или M4, автоматическое описание изображений и другие мультимодальные приложения. К преимуществам относятся уменьшенное потребление памяти по сравнению с 8-битной версией и эффективная работа на Apple Silicon. Ограничения связаны с потерями точности, возможными при 4-битном квантовании, а также с тем, что это конвертация, для которой может существовать более оптимизированная версия. Модель распространяется по лицензии Apache 2.0, унаследованной от оригинальной Qwen3.5-9B.
SEA-CLIP-Tiny-abl-wit — экспериментальный вариант мультиязычной модели CLIP от автора fassabilf, опубликованный как строка абляции исследования SEA-CLIP-Tiny для ACCV 2026. Это модель сопоставления изображений и текста для классификации изображений по текстовым меткам без отдельного обучения на этих метках, а также для поиска изображений по описанию и описаний по изображению. Модель использует визуальный энкодер ViT-T/16 и 12-слойный текстовый энкодер шириной 384; размерность эмбеддингов — 512, всего 46,11 млн параметров. Токенизатор CLIP BPE имеет словарь из 49 408 токенов и контекст 77 токенов. Чекпойнт обучен только на данных WIT; в README указаны результаты retrieval R@1: 27,7 на WIT и низкая точность zero-shot ImageNet — 1,3%. Поддерживаются английский и ряд языков Юго-Восточной Азии, включая индонезийский, яванский, сунданский, малайский, тайский, вьетнамский и бирманский. Репозиторий использует open_clip и формат PyTorch, лицензия MIT.
Shift — модель генерации изображений по текстовому описанию, созданная Yntec как слияние Redshift Diffusion, LiberteRedmond и Shiny3D Cartoon. Она основана на Stable Diffusion 1.5 и рассчитана на создание фотореалистичных изображений, стилизованных 3D-рендеров и мультяшных сцен. Примеры в карточке включают архитектуру, автомобили, персонажей и портретные сцены. Модель распространяется в формате Diffusers и Safetensors и использует библиотеку Diffusers. Лицензия — CreativeML OpenRAIL-M. Качество и стиль результата зависят от текстового запроса; карточка не описывает отдельные ограничения модели или гарантии качества.
Это текстовая башня SigLIP 2 Base, подготовленная Veritone как облегчённая копия модели google/siglip2-base-patch16-512. Она преобразует текстовые запросы в общее пространство эмбеддингов с визуальной башней, позволяя загружать текстовую часть отдельно для поиска и сопоставления изображений с текстом. Парная визуальная башня опубликована отдельно в Veritone/siglip2-base-patch16-512-vision. Модель предназначена для нулевой классификации изображений по текстовым меткам и поиска изображений по текстовому запросу; также её можно использовать как текстовый энкодер в системах на базе визуально-языковых моделей. Контекст составляет 64 токена. Данные README указывают на предобучение SigLIP 2 на WebLI; в репозитории доступны веса Safetensors для Transformers. Лицензия — Apache-2.0. Для работы с изображениями необходима совместимая визуальная башня; одна эта текстовая часть изображения не принимает.
Карточка модели kp-forks/SSD-1B на Hugging Face совпадает с карточкой segmind/SSD-1B, поэтому описание составлено по ней. SSD-1B — модель генерации изображений по текстовому описанию, разработанная Segmind. Это диффузионная модель на 1,3 млрд параметров, созданная дистилляцией Stable Diffusion XL: из базовой модели удалили часть слоёв, чтобы сократить размер примерно на 50% и ускорить генерацию до 60% по сравнению с SDXL. В дистилляции использовались знания SDXL, ZavyChromaXL и JuggernautXL; модель обучалась на наборах данных GRIT и очищенных данных Midjourney. Модель предназначена для создания изображений по текстовым промптам в творческих, образовательных и исследовательских сценариях. Работает через библиотеку Diffusers и поддерживает несколько разрешений, включая квадратные и портретные или альбомные форматы вплоть до 1536 пикселей по одной стороне. Основной язык промптов в карточке не указан. Модель может испытывать трудности с фотореалистичными изображениями людей, разборчивым текстом и сложными композициями; результаты могут отражать смещения обучающих данных. Она не подходит для создания точных фактических изображений людей, событий и реального мира. Лицензия — Apache 2.0.
SSD-1B — модель генерации изображений по текстовому описанию, разработанная Segmind. Это диффузионная модель на 1,3 млрд параметров, созданная дистилляцией Stable Diffusion XL: из базовой модели удалили часть слоёв, чтобы сократить размер примерно на 50% и ускорить генерацию до 60% по сравнению с SDXL. В дистилляции использовались знания SDXL, ZavyChromaXL и JuggernautXL; модель обучалась на наборах данных GRIT и очищенных данных Midjourney. Модель предназначена для создания изображений по текстовым промптам в творческих, образовательных и исследовательских сценариях. Работает через библиотеку Diffusers и поддерживает несколько разрешений, включая квадратные и портретные или альбомные форматы вплоть до 1536 пикселей по одной стороне. Основной язык промптов в карточке не указан. Модель может испытывать трудности с фотореалистичными изображениями людей, разборчивым текстом и сложными композициями; результаты могут отражать смещения обучающих данных. Она не подходит для создания точных фактических изображений людей, событий и реального мира. Лицензия — Apache 2.0.
Stable Diffusion 2.1 Base — модель генерации и редактирования изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с фиксированным предварительно обученным текстовым энкодером OpenCLIP-ViT/H; она дообучена на базе Stable Diffusion 2 Base ещё на 220 тысячах шагов. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors. Модель предназначена для создания иллюстраций, художественных изображений и визуальных материалов для дизайна, а также для творческих и образовательных инструментов. Лучше всего работает с запросами на английском языке. Лицензия CreativeML Open RAIL++-M (OpenRAIL++); карточка описывает модель как предназначенную для исследований и перечисляет ограничения на использование. Модель не гарантирует фотореализм, плохо отображает читаемый текст и сложные пространственные композиции; лица и люди могут получаться некорректно. Результаты для запросов не на английском языке обычно хуже. Обучающие данные содержали изображения для взрослых, насилие и сексуальный контент, частично отфильтрованные детектором NSFW; модель может воспроизводить социальные предубеждения.
Stable Diffusion 3.5 Large — модель генерации изображений по текстовому описанию, разработанная Stability AI. Она предназначена для создания иллюстраций и других художественных изображений, работы в дизайнерских процессах, творческих и образовательных инструментах, а также исследований генеративных моделей. Модель использует архитектуру Multimodal Diffusion Transformer (MMDiT), три предварительно обученных текстовых энкодера — OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL — и нормализацию QK. В README отмечены улучшения качества изображений, работы с типографикой, понимания сложных запросов и эффективности использования ресурсов. Модель ориентирована на английские запросы; для энкодеров указаны контексты 77 и 256 токенов на разных этапах обучения. Модель распространяется по Stability Community License; для коммерческого использования Stability AI предлагает уточнить условия лицензирования. Она не предназначена для достоверного изображения реальных людей или событий. Защитные меры не гарантируют устранения всего потенциально вредного контента, поэтому разработчикам следует проверять результаты и применять подходящие ограничения.
TA2.0 — модель TalkingAvatar от Neosapience для создания видео с говорящим аватаром по изображению и аудио. Она анимирует портрет, синхронизируя движения губ с входной речью; длительность ролика определяется длительностью аудио. В профиле инференса указаны разрешение 480 × 832 и частота 25 кадров в секунду. Модель предназначена для исследований, оценки и авторских творческих проектов с аудиоаватарами. Качество анимации и синхронизации зависит от позы, перекрытий лица, качества аудио, языка и типа изображения. В README указана лицензия Apache-2.0. Для изображений и голосов необходимо иметь согласие и права; в runtime нет проверки личности, управления согласием, водяных знаков и модерации контента.
VideoScore-v1.1 — модель TIGER-Lab для автоматической оценки качества видео и соответствия видео текстовому описанию. Это регрессионная мультимодальная модель на базе Mantis-8B-Idefics2, дообученная на наборе VideoFeedback с человеческими оценками по нескольким аспектам. В метаданных указана архитектура Idefics2ForSequenceClassification и формат весов safetensors. Модель принимает видео и текст и выдаёт оценки качества, пригодные для сравнения с человеческими оценками. В версии 1.1 улучшена оценка соответствия текста видео и поддержан инференс по 48 кадрам. В README сообщается о корреляции Спирмена 74,0 на тестовой части VideoFeedback и результатах на GenAI-Bench и VBench; эти показатели относятся к указанным бенчмаркам. Модель предназначена для оценки и ранжирования результатов генерации видео, но не создаёт видео. Она опубликована под лицензией MIT. Результаты оценки могут не совпадать с человеческими предпочтениями за пределами обучающих данных и проверенных бенчмарков.
Qwen3-VL-32B-Instruct-FP8 — мультимодальная instruction-модель семейства Qwen, представленная как FP8-квантизированная версия Qwen3-VL-32B-Instruct. Модель предназначена для обработки текста, изображений и видео, включая генерацию ответов, визуальное понимание и мультимодальное рассуждение. Квантование выполнено методом fine-grained FP8 с размером блока 128; заявлено, что показатели близки к исходной версии в формате BF16. Модель ориентирована на анализ изображений и видео, OCR, понимание пространственных отношений, STEM- и математическое рассуждение, распознавание объектов и сцен, извлечение структуры из длинных документов, а также задачи визуального агента и генерацию Draw.io, HTML, CSS и JavaScript по изображениям или видео. Она поддерживает контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона и рассчитана на работу с длинными документами и многочасовым видео. Для OCR заявлена поддержка 32 языков. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — сочетание текстового и визуального понимания, расширенная работа с видео и пространственными отношениями, улучшенное распознавание текста в сложных условиях и поддержка агентских сценариев с взаимодействием через графический интерфейс и инструменты. Ограничение текущей версии заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; для развёртывания рекомендуется использовать vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.
unsloth/Qwen3-VL-8B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-8B-Instruct, опубликованная Unsloth на основе модели Qwen от Qwen Team. Она предназначена для работы с текстом и изображениями, а также для анализа видео, визуального распознавания, OCR, пространственного и мультимодального рассуждения. Модель имеет размер 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди её возможностей заявлены управление графическими интерфейсами компьютеров и мобильных устройств, генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео, анализ пространственных отношений, понимание длительных видео с временной локализацией событий, STEM- и математическое рассуждение, а также распознавание широкого спектра объектов и сцен. OCR поддерживает 32 языка и устойчив к низкому освещению, размытию и наклону текста. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения признаков разных уровней ViT и выравнивание текста с временными метками. Квантованный 4-битный формат ориентирован на более экономичное по памяти развёртывание, однако README не приводит точные требования к оборудованию, результаты для данной квантованной версии или детальные ограничения качества. Модель распространяется по лицензии Apache-2.0.
Surya Layout (fast) — компактная модель обнаружения областей документа, используемая в проекте Surya. Она анализирует изображение страницы и находит текстовые блоки, таблицы, иллюстрации, заголовки, подписи и формулы. Модель предназначена для ускоренного анализа структуры документов и работает на CPU и GPU. Это детектор объектов на PyTorch, выступающий компактной альтернативой модели анализа компоновки документов на основе VLM в Surya. Модель подходит для предварительной разметки страниц в OCR-конвейерах и извлечения структурированных элементов документа. Репозиторий распространяется по лицензии OpenRAIL.
keremberke/yolov8m-table-extraction — модель компьютерного зрения на базе YOLOv8m, опубликованная Keremberke. Она предназначена для обнаружения таблиц на изображениях и различает два класса: таблицы с границами и без границ. Модель использует библиотеку Ultralytics и представлена в формате PyTorch. Её можно применять для поиска областей таблиц на сканах и изображениях документов перед последующим извлечением содержимого. Лицензия AGPL-3.0.
keremberke/yolov8s-table-extraction — модель компьютерного зрения на архитектуре YOLOv8, опубликованная Keremberke. Она предназначена для обнаружения таблиц на изображениях документов и различает два типа: с границами и без границ. Модель доступна в формате PyTorch и рассчитана на запуск с библиотекой Ultralytics. Модель подходит для автоматического поиска таблиц при разборе сканов и изображений документов. Карточка указывает метки классов, но не приводит сведений о размере модели, контекстном окне, поддерживаемых языках или точности. Лицензия в предоставленных данных не указана.
Docling Layout Heron GGUF — конверсия модели docling-project/docling-layout-heron, созданной проектом Docling, в формат GGUF для graph runner LM-Kit.NET. Это детектор структуры документов на архитектуре RT-DETRv2, а не языковая модель. Он принимает RGB-изображение страницы размером 640 × 640 и находит области документа, возвращая их границы, классы и оценки уверенности. Модель распознаёт 17 классов, включая текст, заголовки, таблицы, изображения, формулы, подписи, списки, колонтитулы, код, флажки, формы и области «ключ–значение»; число параметров — 42,1 млн. Модель подходит для выделения структуры страниц перед извлечением текста, разбором таблиц и обработкой форм. GGUF-файл хранит веса в полной точности F32, имеет размер около 168,5 МБ и запускается через LM-Kit.NET на CPU или GPU. Карточка не сообщает языковые ограничения; детекция макета основана на изображении и не предполагает генерацию текста. Лицензия — Apache-2.0.
HyperCLOVA X SEED 8B Omni — мультимодальная модель компании NAVER на основе плотного авторегрессионного Transformer с 8 млрд параметров. Она объединяет текстовые, визуальные и речевые представления в общем семантическом пространстве и поддерживает взаимодействие между модальностями в контексте до 32 тыс. токенов. Модель принимает текст, изображения, видео и аудио, а выдаёт текст, изображения и аудио; генерация видео не поддерживается. Модель предназначена для диалога и мультимодальных задач: ответов на вопросы по изображениям и видео, генерации и редактирования изображений, распознавания и перевода речи, синтеза речи, а также обычной генерации текста. В README она описана как корейско-ориентированный этап разработки универсальных мультимодальных моделей HyperCLOVA X. Для инференса NAVER предлагает OmniServe с API, совместимым с OpenAI; приведённая конфигурация запуска требует 4 GPU NVIDIA A100 по 80 ГБ. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.
PP-OCRv3_mobile_rec — модель распознавания строк текста из изображений, разработанная командой PaddleOCR. Она входит в серию PP-OCRv3_rec и предназначена для использования как распознающий модуль в OCR-системах и конвейерах обработки документов. Модель основана на архитектуре SVTR, адаптированной для промышленного применения; в серии PP-OCRv3 она заменила CRNN. Она распознаёт строки на китайском и английском языках, с основным фокусом на китайский. Конвейер PP-OCRv3 может объединять распознавание с обнаружением текста, коррекцией ориентации и выравниванием изображений, но эти возможности относятся к конвейеру в целом, а не только к данной модели. Модель подходит для извлечения текста из изображений документов и других сцен с печатными строками. В README лицензия не описана, а метаданные указывают Apache-2.0. Результат распознавания может быть неверным; в приведённой оценке строка считалась ошибочной при любой неверно распознанной букве или знаке пунктуации.
Oblix/yolov10m-doclaynet_ONNX_document-layout-analysis — модель обнаружения объектов на базе YOLOv10m, предоставленная в формате ONNX для использования через Transformers.js. Она предназначена для анализа макета документа: находит и размечает текстовые блоки, заголовки, списки, таблицы, изображения, формулы, подписи, сноски и элементы колонтитулов. Модель принимает изображение страницы и выдаёт рамки обнаруженных областей с классами из набора DocLayNet. Карточка не сообщает размер модели или поддерживаемые языки. Репозиторий содержит ONNX-веса; сведения о лицензии в доступных данных отсутствуют.
Модель TahaDouaji/detr-doc-table-detection разработана Таха Дуаажи для обнаружения таблиц в документах. Она дообучена на основе facebook/detr-resnet-50 и предназначена для поиска таблиц с рамками и без рамок на изображениях документов. Модель решает задачу обнаружения объектов и обучена на наборе ICDAR2019 Table Dataset. В репозитории представлены форматы PyTorch, Safetensors и ONNX; число параметров — 6,3 млн. Лицензия Apache-2.0. Модель принимает изображения и выдаёт классы объектов с ограничивающими рамками. Качество зависит от сходства входных документов с обучающими данными. Карточка предупреждает о возможных предвзятых или вредных стереотипах в предсказаниях; прикладные ограничения для распознавания таблиц подробно не описаны.
PP-DocLayout_plus-L — модель PaddlePaddle для локализации и классификации областей на изображениях документов. Она основана на архитектуре RT-DETR-L и обучена на собственном наборе китайских и англоязычных научных статей, презентаций, журналов, контрактов, книг, экзаменационных материалов, старинных книг и исследовательских отчётов. Модель выделяет 20 типов областей, включая заголовки, основной текст, номера страниц, аннотации, таблицы, формулы, изображения, графики, колонтитулы, печати и списки литературы. Модель предназначена для анализа структуры страниц и может использоваться как компонент конвейера PP-StructureV3 вместе с OCR, распознаванием таблиц и формул и другими модулями. В README указана метрика mAP@0.5 83,2% на собственной тестовой выборке изображений документов на китайском и английском языках. Метрика относится к локализации областей, а не к распознаванию их текстового содержимого. Лицензия — Apache-2.0.
PP-DocLayoutV2 — лёгкая модель для анализа структуры документов из семейства PaddleOCR, разработанная PaddlePaddle. Она обнаруживает и классифицирует элементы макета, а затем определяет порядок их чтения. Архитектура состоит из детектора RT-DETR и последующей pointer-сети, которая упорядочивает найденные элементы. Модель предназначена для анализа страниц документов и подготовки их структуры для OCR и дальнейшего извлечения информации. Метаданные указывают поддержку английского и китайского языков, а также мультиязычных сценариев. Репозиторий распространяется по лицензии Apache-2.0.
RT-DETR-L_wireless_table_cell_det_safetensors — модуль обнаружения ячеек таблиц на изображениях из семейства RT-DETR, опубликованный PaddlePaddle для использования в PaddleOCR. Он находит области ячеек и возвращает их ограничивающие рамки, которые затем можно передать в конвейер распознавания таблиц для дальнейшей обработки. Карточка указывает, что заявленная точность получена при совместном тестировании с модулем RT-DETR-L_wired_table_cell_det. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Модель YOLOv8s от FODUU AI обнаруживает таблицы на изображениях документов и выделяет их ограничивающими рамками. Она распознаёт два класса: таблицы с рамками и без рамок. Модель построена на архитектуре YOLOv8 и предназначена для поиска таблиц в структурированных и неструктурированных документах. Результаты обнаружения можно использовать для обрезки таблиц и передачи фрагментов в отдельную систему OCR для извлечения текста. Сама модель выдаёт классы и координаты объектов, а не распознанное содержимое таблиц. Репозиторий содержит веса PyTorch; модель основана на YOLOv8s и дообучена на наборе изображений таблиц FODUU AI. Качество может снижаться на изображениях низкого разрешения, при плохом освещении, для маленьких таблиц и сложных макетов. В README лицензия не указана, поэтому условия использования следует уточнить у разработчика.
deepdoctection/tatr_tab_struct_v2 — модель распознавания структуры таблиц на основе Microsoft Table Transformer, дообученная на наборах PubTables-1M и FinTabNet. Она находит элементы структуры таблиц на изображениях документов, например строки и ячейки, и предназначена для включения в конвейеры анализа документов, в том числе deepdoctection. Модель имеет архитектуру TableTransformerForObjectDetection, содержит 6,3 млн параметров и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. README рекомендует настроить параметры сегментации при использовании в deepdoctection Analyzer для улучшения предсказаний. Лицензия в предоставленных данных не указана.
VisME — мультимодальная модель эмбеддингов, разработанная авторами работы Illuminating Visual Identity in Universal Multimodal Embeddings для CVPR 2026. Она дообучена на Qwen/Qwen2.5-VL-7B-Instruct и формирует плотные векторы для изображений, текста и пар «изображение–текст», предназначенные для поиска и сопоставления визуального содержимого. Модель ориентирована на мультимодальный поиск и задачи, связанные с визуальной идентичностью: распознавание объектов или людей по идентичности, повторную идентификацию, поиск по изображению и тексту, а также визуальное заземление. Обучение объединяет MMEB-v1 для общих мультимодальных задач и MVEB для поиска по визуальной идентичности; заявлены конкурентные результаты на MMEB и сильные результаты на MVEB. Архитектура — плотная Qwen2.5-VL, 7,1 млрд параметров, контекст до 128 000 токенов; репозиторий использует safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Авторы указывают, что код оценки и обучения будет опубликован позднее, поэтому воспроизведение заявленных результатов может быть затруднено до его выхода.
Armaggheddon разработал три варианта YOLOv11 — nano, small и medium — и дообучил их на DocLayNet для анализа структуры документов. Модели обнаруживают и классифицируют 11 типов элементов страницы: текстовые блоки, заголовки, таблицы, изображения, подписи, списки, формулы, колонтитулы и сноски. Модель предназначена для обработки изображений документов в конвейерах понимания документов и извлечения информации. Вариант nano ориентирован на скорость, small предлагает немного большую точность, а medium — максимальную точность среди описанных вариантов при более высоких вычислительных затратах. Обучение проводилось при разрешении 1280×1280; снижение до 640×640 ухудшало обнаружение мелких элементов. Это дообучение Ultralytics/YOLO11, распространяемое в формате PyTorch под лицензией MIT. README рекомендует nano для производственного применения.
Armaggheddon/yolo26-document-layout — набор из трёх моделей YOLOv26 (nano, small и medium), дообученных на DocLayNet v1.2 для анализа структуры документов. Модели на основе Ultralytics YOLO26 находят на изображениях 11 типов элементов: текст, заголовки, таблицы, иллюстрации, подписи, списки, формулы, колонтитулы и сноски. Репозиторий использует библиотеку Ultralytics и содержит веса PyTorch. Модель предназначена для выделения и классификации областей документа в конвейерах понимания документов и извлечения информации. В README рекомендуется nano-вариант для сценариев, где важна скорость; small и medium предлагают выбор в пользу большей точности при повышенных вычислительных затратах. Обучение проводилось на разрешении 1280×1280, поскольку уменьшение до 640×640 снижало качество обнаружения мелких элементов. Лицензия репозитория — MIT.
AuroLA-Omni-3B — мультимодальная модель эмбеддингов, представленная автором Jazzcharles и основанная на Qwen2.5-Omni-3B с использованием AuroLA-3B. Модель преобразует текст, изображения, аудио и видео в признаки; доступна в формате BF16 в совместимой с SentenceTransformers структуре. Метаданные указывают архитектуру Qwen2.5 Omni Thinker и возможность извлечения эмбеддингов. Модель предназначена для мультимодального поиска и сопоставления запросов с текстом, изображениями, видео и визуальными документами. В README приведены результаты MMEB-V3 для изображений, видео и VisDoc. Для работы указаны SentenceTransformers и Transformers; при использовании Transformers следует применять шаблон чата SentenceTransformers и брать последнее скрытое состояние без паддинга. Лицензия в предоставленных данных не указана.
DocLayout-YOLO Docstructbench — модель компьютерного зрения для обнаружения элементов структуры документов, основанная на семействе DocLayout-YOLO и представленная в формате ONNX. Она предназначена для поиска и классификации десяти типов областей: заголовков, обычного текста, иллюстраций и подписей к ним, таблиц и их подписей и сносок, а также формул и подписей к ним. Модель можно применять в конвейерах анализа документов и подготовки их структурированного представления. Модель рассчитана на входные изображения документов и выдаёт обнаруженные области с метками классов. Репозиторий указывает Apache-2.0 в качестве лицензии. Карточка не сообщает сведения о размере модели, контексте или языковой поддержке; применимость может зависеть от качества и разметки входного документа.