/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
45,8 млн
Лицензия
Apache 2.0
Архитектура
t5 · dense
Базовая модель
flan-t5-small
Опубликована
27 июл 2023

Ссылки

Hugging Face

flan-t5-small-finetune-medicine-v4

Varshitha
Языковая модель3 профессии

Небольшая дообученная модель T5 для генерации текста в медицинском контексте.

10скачиваний за 30 дней0лайковвеса обновлены27 июл 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Varshitha/flan-t5-small-finetune-medicine-v4 — дообученная модель Google на основе google/flan-t5-small для генерации текста и выполнения задач обработки естественного языка в медицинском контексте. Она построена на архитектуре T5 и содержит 45,8 млн параметров; принимает текст и выдаёт текст. Нативная длина контекста — 512 токенов. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

В карточке приведены результаты оценки: Loss 2.7404, ROUGE-1 17.0034, ROUGE-2 4.9383, ROUGE-L 16.8615 и ROUGE-Lsum 16.6931. Название указывает на медицинскую специализацию, однако описание датасета, конкретных задач и ограничений не заполнено, поэтому пригодность для отдельных медицинских сценариев по карточке оценить нельзя.

Сценарии применения

  • генерация текста по медицинским запросам
  • эксперименты с медицинскими NLP-задачами
  • оценка генерации текста по метрикам ROUGE

Ограничения

Карточка не описывает обучающий датасет, конкретные целевые сценарии и известные ограничения. Низкие значения ROUGE в приведённой оценке сами по себе не позволяют судить о пригодности модели для клинических решений.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделейIV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделейIV.8Отраслевые задачиГосударственное управление, правосудие и чрезвычайные ситуацииAI помогает улучшать государственные услуги, управление ресурсами, правосудие и реагирование на чрезвычайные ситуации.47 задач2 517моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

flan-t5-small-finetune-medicine-v4

This model is a fine-tuned version of google/flan-t5-small on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.7404
  • Rouge1: 17.0034
  • Rouge2: 4.9383
  • Rougel: 16.8615
  • Rougelsum: 16.6931

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5.6e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 20

Training results

Training LossEpochStepValidation LossRouge1Rouge2RougelRougelsum
No log1.052.886415.76855.11715.713815.518
No log2.0102.875415.77025.11715.675815.5641
No log3.0152.855615.93224.056415.958715.8195
No log4.0202.846916.41174.938316.300816.2258
No log5.0252.838017.27454.938317.203917.0175
No log6.0302.827616.84165.643716.73716.5215
No log7.0352.811817.07034.938316.971516.7941
No log8.0402.801017.00344.938316.861516.6931
No log9.0452.789817.00344.938316.861516.6931
No log10.0502.778317.00344.938316.861516.6931
No log11.0552.769417.00344.938316.861516.6931
No log12.0602.761717.00344.938316.861516.6931
No log13.0652.754617.00344.938316.861516.6931
No log14.0702.747817.00344.938316.861516.6931
No log15.0752.743717.00344.938316.861516.6931
No log16.0802.741717.00344.938316.861516.6931
No log17.0852.741617.00344.938316.861516.6931
No log18.0902.740917.00344.938316.861516.6931
No log19.0952.740517.00344.938316.861516.6931
No log20.01002.740417.00344.938316.861516.6931

Framework versions

  • Transformers 4.31.0
  • Pytorch 2.0.1+cu118
  • Datasets 2.14.1
  • Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
d2925bb

0 моделей

    Создать бенчмарк