Характеристики

Размер весов: 16 ГБ
Лицензия: Apache 2.0
Архитектура: mists · dense
Базовая модель: Mists-7B-v01-not-trained
Опубликована: 2 июл 2024

Ссылки

Hugging Face

Mists-7B-v01-projector-trained

HachiML

ЭмбеддингиТекст → embedding3 профессии

Экспериментальная дообученная модель Mists для извлечения признаков, основанная на HachiML/Mists-7B-v01-not-trained.

10скачиваний за 30 дней0лайковвеса обновлены2 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HachiML/Mists-7B-v01-projector-trained — дообученная модель семейства Mists, основанная на HachiML/Mists-7B-v01-not-trained. В метаданных указаны архитектура MistsForConditionalGeneration, плотная архитектура и формат safetensors; модель классифицирована для извлечения признаков.

Карточка сообщает о дообучении на неизвестном наборе данных и значении loss 0,5989 на оценочном наборе, но не описывает назначение, данные или сценарии применения. Базовая модель задумана для совместной работы с текстом и временными рядами, однако её адаптер не обучен; для этой версии такая мультимодальность и практическая пригодность не подтверждены.

Модель опубликована под лицензией Apache-2.0. Использование для извлечения признаков указано в метаданных, но карточка не предоставляет сведений о качестве эмбеддингов или ограничениях оценки.

Сценарии применения

извлечение признаков из входных данных для последующего анализа

Ограничения

Датасет дообучения и предполагаемые сценарии применения не описаны. Практическая пригодность и поддержка входных модальностей этой версии не подтверждены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mists-7B-v01-projector-trained

This model is a fine-tuned version of HachiML/Mists-7B-v01-not-trained on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.5989

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.002
train_batch_size: 4
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.05
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.8704	0.0526	2000	0.7797
0.7321	0.1051	4000	0.7205
0.7002	0.1577	6000	0.6992
0.6735	0.2102	8000	0.6755
0.6644	0.2628	10000	0.6625
0.6562	0.3153	12000	0.6539
0.6512	0.3679	14000	0.6473
0.638	0.4205	16000	0.6394
0.6266	0.4730	18000	0.6325
0.627	0.5256	20000	0.6278
0.6215	0.5781	22000	0.6241
0.6192	0.6307	24000	0.6199
0.6127	0.6832	26000	0.6163
0.6121	0.7358	28000	0.6131
0.6078	0.7884	30000	0.6089
0.5986	0.8409	32000	0.6058
0.6011	0.8935	34000	0.6027
0.5934	0.9460	36000	0.6005
0.589	0.9986	38000	0.5989

Framework versions

Transformers 4.42.3
Pytorch 2.3.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: MistsForConditionalGeneration
Ревизия весов: 31cdb25