Характеристики

Контекст: 4 096 токенов
Параметры: 3,7 млрд
Размер весов: 8,5 ГБ
Лицензия: MIT
Архитектура: phi3_v · dense
Базовая модель: Phi-3.5-vision-instruct
Библиотека: transformers
Опубликована: 15 сен 2024

Ссылки

Hugging Face

Phi-3.5-vision-instruct_20240915_223241

muhtasham

Генерация текстаТекст → текст11 профессий

Дообученная мультимодальная модель Phi-3.5 для диалоговой генерации текста и задач по изображениям.

50скачиваний за 30 дней0лайковвеса обновлены16 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

muhtasham/Phi-3.5-vision-instruct_20240915_223241 — дообученная версия мультимодальной Phi-3.5-vision-instruct от Microsoft. В карточке указано, что модель обучалась на датасете со средним размером 1,8 млн, но его название не приведено.

Модель предназначена для диалоговой генерации текста. Базовая модель поддерживает работу с текстом и изображениями, включая ответы на вопросы по изображениям, OCR, анализ документов и суммирование видеоклипов по кадрам; README не уточняет, сохраняются ли все эти возможности после дообучения. Архитектура — плотная Phi3VForCausalLM, объём — 3,7 млрд параметров, библиотека — Transformers, формат весов — safetensors, указанная длина контекста — 4096 токенов.

Карточка не содержит результатов оценки качества и конкретных рекомендаций по применению. Модель распространяется по лицензии MIT.

Сценарии применения

диалоговые ответы на текстовые запросы
ответы на вопросы по изображениям
распознавание текста на изображениях
анализ изображений документов
суммирование видеоклипов по кадрам

Ограничения

В README не приведены результаты оценки качества, подробности обучающего набора или конкретные рекомендации по применению. Сохранение всех возможностей базовой модели после дообучения не подтверждено.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Phi-3.5-vision-instruct_20240915_223241

This model is a fine-tuned version of microsoft/Phi-3.5-vision-instruct on the None dataset.

Model description

On 1.8M avg dataset

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 4e-05
train_batch_size: 1
eval_batch_size: 1
seed: 42
distributed_type: multi-GPU
num_devices: 8
gradient_accumulation_steps: 2
total_train_batch_size: 16
total_eval_batch_size: 8
optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-07
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 50
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Framework versions

Transformers 4.44.2
Pytorch 2.4.1+cu121
Datasets 3.0.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: Phi3VForCausalLM
Ревизия весов: 9c93834