/ Модель

Характеристики

Контекст
1 024 токена
Архитектура
florence2 · dense
Базовая модель
Florence-2-base-ft
Библиотека
transformers
Опубликована
26 окт 2024

Florence-2-VLM-Doc-VQA

Генерация текстаТекст → текст

Дообученная Florence-2-модель отвечает на вопросы о содержимом изображений, включая изображения документов.

20скачиваний за 30 дней5лайковвеса обновлены26 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

prithivMLmods/Florence-2-VLM-Doc-VQA — дообученная модель семейства Florence-2, созданная prithivMLmods на базе microsoft/Florence-2-base-ft. Она принимает изображение и вопрос о его содержимом и формирует текстовый ответ, поэтому подходит для визуальных вопросов и ответов, в том числе по изображениям документов. Модель использует архитектуру Florence2ForConditionalGeneration и библиотеку Transformers; веса представлены в формате safetensors.

В README указан английский язык текстовой части. Лицензия в карточке не указана. В метаданных авторский pipeline_tag — image-to-text, а классификатор каталога отметил конфликт с text-generation; для сценария ответов на вопросы по изображению основная задача — image-to-text. Карточка не сообщает о контекстном лимите или дополнительных гарантиях качества.

Сценарии применения

  • ответы на вопросы по изображению документа
  • извлечение нужных сведений из изображения по вопросу
  • ответы на вопросы о предметах и сценах на фотографии

Ограничения

Карточка не указывает лицензию, поэтому условия использования следует уточнить у разработчика. Ответы зависят от содержимого и качества входного изображения; отдельные ограничения качества в README не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Details

Visual Question Answering Model

This model is a fine-tuned version of microsoft/Florence-2-base-ft designed for Visual Question Answering (VQA). It has been optimized for tasks where the model interprets images and responds to questions about the visual content.


Model Details

  • Finetuned by: prithivMLmods
  • Model type: Visual Question Answering (VQA)
  • Language(s): English (NLP component)
  • License: None specified
  • Finetuned from model: microsoft/Florence-2-base-ft

Usage

This model can be used to perform VQA tasks, where it takes an image and a question about the image as input, and returns an answer based on the visual content.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Florence2ForConditionalGeneration
Ревизия весов
cd4bdab

0 моделей