Характеристики

Контекст: 77 токенов
Лицензия: MIT
Библиотека: open_clip
Опубликована: 15 окт 2024

Ссылки

taxabind-vit-b-16

Классификация изображений без дообученияИзображение, текст → label3 профессии

Модель сопоставляет фотографии видов с текстовыми таксономическими классами для классификации без дообучения на каждом наборе меток.

141скачиваний за 30 дней0лайковвеса обновлены30 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TaxaBind ViT-B-16 — модель эмбеддингов изображений и текста, разработанная MVRL и опубликованная в формате open_clip. Она предназначена для классификации изображений видов без специального обучения на каждом наборе классов: изображение сопоставляется с текстовыми названиями таксонов, после чего выбирается наиболее подходящий класс. Модель принимает изображения и текстовые описания классов и выдаёт представления, используемые для сравнения и классификации.

Модель можно применять для определения видов по фотографиям, если классы заданы таксономическими текстовыми метками. В карточке указана лицензия MIT. Сведения о размере модели, контекстном окне и поддерживаемых языках не приведены.

Сценарии применения

определение вида животного или растения по фотографии
классификация изображений по заданному списку таксонов
поиск наиболее подходящего таксономического названия для снимка

Ограничения

Заявленный сценарий ограничен классификацией изображений видов по таксономическим текстовым классам; точность за пределами этого сценария не описана. Поддерживаемые языки текстовых меток не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.8Универсальные способностиИзображения и компьютерное зрениеAI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы.17 задач6 331модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model card for taxabind-vit-b-16

Paper: TaxaBind: A Unified Embedding Space for Ecological Applications

Venue: WACV 2025

Github: https://github.com/mvrl/TaxaBind

TaxaBind

TaxaBind is a multimodal embedding space consisting of six modalities. This model contains image and text modalities in open_clip format. The model is used for zero-shot classification of species images using taxonomic text classes.

Usage

import open_clip

model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:MVRL/taxabind-vit-b-16')
tokenizer = open_clip.get_tokenizer('hf-hub:MVRL/taxabind-vit-b-16')

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · open_clip

Нельзя запустить

Модели OpenCLIP требуют отдельного рантайма.

Ревизия весов: 6061697