Характеристики

Контекст: 8 192 токена
Лицензия: Своя лицензия
Архитектура: idefics3 · dense
Библиотека: transformers.js
Опубликована: 1 сен 2026

Ссылки

pantrymax-smolvlm-500m-onnx-v2

Описание изображенийИзображение → текст5 профессий

Локальная браузерная ONNX-модель PantryMax для извлечения структурированных данных с изображений товарных этикеток и страниц рецептов.

42скачиваний за 30 дней0лайковвеса обновлены1 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PantryMax SmolVLM-500M ONNX v2 — браузерная ONNX-модель для локального извлечения данных с этикеток товаров и страниц рецептов. Это дообучение LoRA модели HuggingFaceTB/SmolVLM-500M-Instruct, выпущенное командой PantryMax и предназначенное для работы через ONNX Runtime Web.

В приложении PantryMax выбранный сценарий — товар или рецепт — задаёт схему JSON, которой ограничивается декодирование. Модель анализирует изображение и формирует структурированный текстовый результат; поддержка мультиязычности заявлена в метаданных, но конкретные языки не перечислены. Архитектура относится к Idefics3, размер базовой модели — 500 млн параметров. Репозиторий содержит браузерные runtime-артефакты в формате ONNX.

Структурированное декодирование помогает получать разбираемый JSON, но не гарантирует фактическую точность: извлечённые значения следует проверять. Модель предназначена для обычных пользовательских сценариев и не должна служить основанием для решений с высокими ставками. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

Сценарии применения

извлечение названия и сведений с этикетки товара
разбор текста и полей со страницы рецепта
преобразование видимого содержимого изображения в структурированный JSON

Ограничения

Структурированный формат не гарантирует фактическую точность, поэтому извлечённые данные нужно проверять. Модель не предназначена для принятия решений с высокими ставками; конкретные условия лицензии в предоставленных данных не раскрыты.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.1Отраслевые задачиРитейл, электронная коммерция и fashion-techAI помогает управлять ассортиментом, покупательским опытом и эффективностью торговых операций.29 задач5 934модели I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.10Отраслевые задачиДом, личная жизнь, уход и повседневные задачиAI помогает помогать человеку планировать повседневные дела и безопасно управлять домашней средой.30 задач962модели I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей

Также подходит для

I.14Автоматизация процессов и AI-агенты

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PantryMax SmolVLM-500M ONNX v2

This is an ONNX Runtime Web release of a PantryMax LoRA fine-tune of HuggingFaceTB/SmolVLM-500M-Instruct. It is intended for fully local, in-browser product-label and recipe-page extraction in PantryMax.

Runtime assets

The repository contains only browser runtime assets:

onnx/*_q4f16.onnx for devices with float16 shader support;
onnx/*_q4.onnx as the compatible fallback;
the base processor, tokenizer, and chat-template configuration required by Transformers.js.

decoder_model_merged_* has the PantryMax LoRA merged into the base decoder before four-bit weight-only quantization. v2 preserves the upstream browser graph and its packed tensor layouts exactly, replacing only the quantized q/v attention tensors that contain the LoRA updates. The vision encoder and embedding files remain the upstream compatible ONNX exports. There are no source images, annotations, prompts with private content, raw generations, or adapter checkpoints in this release.

Intended behavior and limits

PantryMax supplies the selected task (product or recipe) and constrains decoding against that task's JSON schema in the browser. The model should only extract visibly supported content; it must not be treated as an authority or used for high-stakes decisions. Structured decoding makes output parseable, not necessarily factually correct, so users should review extracted values.

Provenance and license

Base model and unmodified runtime components: HuggingFaceTB/SmolVLM-500M-Instruct, released under Apache-2.0. The PantryMax adapter was trained locally on task-conditioned product-label and recipe-page examples with mixed-source provenance. This release contains only derived runtime weights, but does not assert that every underlying training-source obligation is waived. Reusers are responsible for reviewing the base model and training-data provenance before redistribution or commercial use.

Reproduction checks

The merged fp16 decoder was checked against all 64 LoRA projection targets, then each q4/q4f16 output was required to contain 225 MatMulNBits operations and load successfully in ONNX Runtime before release.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers.js

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js).

Класс архитектуры: Idefics3ForConditionalGeneration
Ревизия весов: ad07de4