/ Модель

Характеристики

Лицензия
MIT
Библиотека
nanovlm
Опубликована
26 июн 2026

nanoVLM-SmolLM2-135M-siglip-base-patch16-224

Изображение и текст → текст3 профессии

Компактная мультимодальная модель nanoVLM для ответов на текстовые запросы по изображениям и экспериментов с VLM.

9скачиваний за 30 дней0лайковвеса обновлены26 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nanoVLM-SmolLM2-135M-siglip-base-patch16-224 — компактная мультимодальная модель для работы с изображениями и текстом, созданная в рамках проекта nanoVLM. Она объединяет визуальный энкодер ViT на базе SigLIP-B/16-224-85M с небольшой авторегрессионной языковой моделью SmolLM2-135M; общий размер составляет около 222 млн параметров. Модель реализована на чистом PyTorch, а архитектура и логика обучения проекта занимают около 750 строк кода, что делает её удобной для обучения и экспериментов.

Модель принимает изображение вместе с текстовым запросом и формирует текстовый ответ, поэтому подходит для компактных сценариев визуального понимания и исследований мультимодальных моделей. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Данных о поддерживаемых естественных языках и длине контекста в предоставленной карточке нет.

Сценарии применения

  • ответы на вопросы о содержимом изображения
  • описание объектов и сцен на изображении
  • эксперименты с обучением компактных мультимодальных моделей

Ограничения

Компактный размер языковой части ограничивает сложность рассуждений и качество ответов по сравнению с крупными VLM. В карточке не приведены результаты оценки качества и перечень поддерживаемых языков.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

nanoVLM is a minimal and lightweight Vision-Language Model (VLM) designed for efficient training and experimentation. Built using pure PyTorch, the entire model architecture and training logic fits within ~750 lines of code. It combines a ViT-based image encoder (SigLIP-B/16-224-85M) with a lightweight causal language model (SmolLM2-135M), resulting in a compact 222M parameter model.

For more information, check out the base model on https://huggingface.co/lusxvr/nanoVLM-222M.

Usage:

Clone the nanoVLM repository: https://github.com/huggingface/nanoVLM. Follow the install instructions and run the following code:

from models.vision_language_model import VisionLanguageModel

model = VisionLanguageModel.from_pretrained("cultural-arts/nanoVLM-SmolLM2-135M-siglip-base-patch16-224")

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · nanovlm

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов
9248cc8

0 моделей