Характеристики

Контекст: 1 024 токена
Размер весов: 542 МБ
Лицензия: MIT
Архитектура: florence2 · dense
Базовая модель: OmniParser-v2.0
Библиотека: mlx
Опубликована: 19 июн 2026

Ссылки

omniparser-icon-caption-mlx

Изображение и текст → текст4 профессии

MLX-версия дообученной Florence-2 для создания текстовых описаний интерактивных значков на скриншотах интерфейсов Apple Silicon.

54скачиваний за 30 дней0лайковвеса обновлены19 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PlusMinus1/omniparser-icon-caption-mlx — версия модели Microsoft OmniParser-v2.0 для MLX, подготовленная для запуска на компьютерах Apple Silicon. Это дообученная на элементах пользовательских интерфейсов Florence-2, предназначенная для создания кратких текстовых описаний интерактивных значков на снимках экрана. Модель принимает изображение значка, вырезанное из скриншота, и генерирует текстовую подпись.

Репозиторий содержит веса в формате MLX bfloat16, преобразованные из OmniParser-v2.0; для запуска используется mlx_vlm. В README также указана базовая модель Florence-2-base. По данным метаданных, архитектура — Florence2ForConditionalGeneration, а основная задача — image-text-to-text. Модель ориентирована на визуальные элементы интерфейсов; поддерживаемые естественные языки не заявлены.

Модель распространяется по лицензии MIT. Для запуска на Transformers 5.x README описывает необходимость совместимого патча без PyTorch; отдельного заявления о гарантированной точности или ограничениях качества нет.

Сценарии применения

создание подписей к значкам на скриншотах интерфейсов
описание интерактивных элементов для автоматизации пользовательского интерфейса
подготовка текстовых меток для элементов графического интерфейса

Ограничения

Модель предназначена для описания интерактивных значков на изображениях интерфейсов, а не для общего визуального диалога. Для запуска с Transformers 5.x требуется описанный в README патч совместимости.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OmniParser icon_caption — MLX

MLX (bfloat16) conversion of microsoft/OmniParser-v2.0's icon_caption — a Florence-2 fine-tuned on UI elements, for captioning interactive icons in screenshots. Runs on Apple Silicon via mlx_vlm with no PyTorch.

License: MIT (© Microsoft Corporation) — see LICENSE. This repo redistributes the original MIT-licensed weights converted to MLX format.

Usage

Needs a small no-torch patch on transformers 5.x (register florence2_language, route the image processor to CLIPImageProcessorPil). See the conversion recipe at the bottom.

# apply the florence2 no-torch patch first (see recipe), then:
from mlx_vlm import load, generate
model, processor = load("PlusMinus1/omniparser-icon-caption-mlx")
out = generate(model, processor, "<CAPTION>", image=["icon_crop.png"], max_tokens=20)

Provenance

Base: microsoft/Florence-2-base (MIT)
Fine-tune: microsoft/OmniParser-v2.0 icon_caption (MIT)
Conversion: mlx_vlm.convert (bfloat16) + a transformers-5.x no-torch compatibility patch.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: Florence2ForConditionalGeneration
Ревизия весов: 6c63a7d