Характеристики

Контекст: 40 токенов
Архитектура: vision-encoder-decoder · dense
Библиотека: transformers
Опубликована: 30 июн 2026

Ссылки

Hugging Face

vit-convnext-mistral-SYDNEY-with-3-captioning

swadhindas324

Языковая модель

Дообученная модель vision-encoder-decoder для создания текстовых подписей к изображениям.

6скачиваний за 30 дней0лайковвеса обновлены30 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель swadhindas324/vit-convnext-mistral-SYDNEY-with-3-captioning — дообученная мультимодальная модель архитектуры vision-encoder-decoder с компонентами ViT/ConvNeXt и Mistral, судя по названию репозитория. Она предназначена для генерации подписей к изображениям. В README приведены результаты оценки: loss 0,4677, accuracy 67,84, BLEU-1–4, METEOR, ROUGE-L и CIDEr. Датасет обучения и подробности применения не описаны. Веса опубликованы в формате safetensors; сведения о лицензии отсутствуют.

Сценарии применения

создание описаний для изображений
автоматическое добавление подписей к фотоколлекции
генерация текстовых описаний для визуального контента

Ограничения

В README отсутствуют сведения о датасете, языках, ограничениях и условиях лицензирования; приведённые метрики не сопровождаются описанием протокола оценки.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

vit-convnext-mistral-SYDNEY-with-3-captioning

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4677
Accuracy: 67.84
Bleu-1: 0.8276
Bleu-2: 0.7647
Bleu-3: 0.7080
Bleu-4: 0.6529
Meteor: 0.7872
Rouge-l: 0.7522
Cider: 2.7295

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 64
eval_batch_size: 64
seed: 50
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 0.1
num_epochs: 128
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Bleu-1	Bleu-2	Bleu-3	Bleu-4	Meteor	Rouge-l	Cider
No log	1.0	44	0.9229	65.29	0.5334	0.4164	0.3336	0.2624	0.4445	0.4631	0.8656
No log	2.0	88	0.5094	62.53	0.5480	0.4380	0.3590	0.2933	0.4270	0.4606	0.7265
No log	3.0	132	0.4333	67.07	0.6516	0.5537	0.4747	0.4075	0.5585	0.5842	1.5430
No log	4.0	176	0.4120	66.53	0.7884	0.6896	0.5943	0.5038	0.6917	0.6649	2.2437
No log	5.0	220	0.3894	66.55	0.7856	0.6987	0.6136	0.5245	0.7038	0.6536	2.1245
No log	6.0	264	0.3879	68.31	0.7695	0.6675	0.5711	0.4875	0.6892	0.6815	2.1739
No log	7.0	308	0.3940	68.41	0.7771	0.7067	0.6375	0.5753	0.7588	0.7246	2.4446
No log	8.0	352	0.3873	65.2	0.8230	0.7558	0.6975	0.6429	0.7782	0.7331	2.8550
No log	9.0	396	0.4036	67.78	0.8054	0.7255	0.6513	0.5856	0.7640	0.7412	2.5325
No log	10.0	440	0.4154	67.94	0.8138	0.7411	0.6724	0.6097	0.7607	0.7260	2.7450
No log	11.0	484	0.4043	69.18	0.8103	0.7487	0.6900	0.6370	0.7911	0.7598	2.8851
No log	12.0	528	0.4204	69.5	0.8225	0.7419	0.6646	0.5952	0.7517	0.7362	2.5103
No log	13.0	572	0.4245	66.61	0.8175	0.7467	0.6643	0.5809	0.7490	0.7098	2.4963
No log	14.0	616	0.4374	67.67	0.7974	0.7284	0.6683	0.6113	0.7553	0.7264	2.5928
No log	15.0	660	0.4389	69.27	0.8190	0.7337	0.6654	0.6027	0.7817	0.7489	2.5667
No log	16.0	704	0.4502	68.05	0.7931	0.7241	0.6659	0.6142	0.7625	0.7302	2.7312
No log	17.0	748	0.4592	67.88	0.8162	0.7518	0.6933	0.6382	0.7797	0.7362	2.7089
No log	18.0	792	0.4661	68.02	0.8298	0.7607	0.6962	0.6353	0.7886	0.7552	2.7675
No log	19.0	836	0.4602	68.15	0.8132	0.7418	0.6774	0.6170	0.7466	0.7108	2.4385
No log	20.0	880	0.4673	69.33	0.8171	0.7486	0.6851	0.6271	0.7725	0.7492	2.7374
No log	21.0	924	0.4677	67.84	0.8276	0.7647	0.7080	0.6529	0.7872	0.7522	2.7295

Framework versions

Transformers 5.12.1
Pytorch 2.12.1+cu130
Datasets 5.0.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: MultiTaskVED
Ревизия весов: e77bd50