Характеристики

Размер весов: 933 МБ
Библиотека: hezar
Опубликована: 29 сен 2023

Ссылки

Hugging Face

vit-roberta-fa-image-captioning-flickr30k

hezarai

Описание изображенийИзображение → текст3 профессии

Модель на базе ViT и RoBERTa создаёт подписи на персидском языке к изображениям.

53скачиваний за 30 дней1лайквеса обновлены14 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель hezarai/vit-roberta-fa-image-captioning-flickr30k предназначена для автоматического создания подписей к изображениям на персидском языке. Её разработал Sajjad Ayoubi; архитектура сочетает визуальный энкодер ViT и текстовый декодер RoBERTa, а обучение проводилось на наборе flickr30k-fa. Для работы автор указывает библиотеку Hezar.

Модель принимает изображение и генерирует текстовое описание его содержимого. Она подходит для добавления персидских подписей к изображениям и построения демонстрационных систем описания сцен. В карточке не приведены сведения о размере модели и длине контекста. Лицензия в предоставленных данных не указана.

Сценарии применения

создание персидских подписей к фотографиям
автоматическое описание содержимого изображений
добавление текстовых описаний к фотоколлекциям

Ограничения

Обучена на flickr30k-fa, поэтому качество для изображений и формулировок, отличающихся от этого набора, может быть ограничено. Сведения о лицензии в предоставленных данных отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A Persian image captioning model constructed from a ViT + RoBERTa architecture trained on flickr30k-fa (created by Sajjad Ayoubi). The encoder (ViT) was initialized from https://huggingface.co/google/vit-base-patch16-224 and the decoder (RoBERTa) was initialized from https://huggingface.co/HooshvareLab/roberta-fa-zwnj-base .

Usage

pip install hezar

from hezar.models import Model

model = Model.load("hezarai/vit-roberta-fa-image-captioning-flickr30k")
captions = model.predict("example_image.jpg")
print(captions)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · hezar

Нельзя запустить

В репозитории нет config.json: не понять архитектуру модели.

Ревизия весов: e601853