/ Модель
Каталог

Характеристики

Контекст
4 096 токенов
Параметры
124 млн
Лицензия
Apache 2.0
Архитектура
longt5 · dense
Базовая модель
long-t5-local-base
Опубликована
25 мая 2024

Ссылки

Hugging Face

long-t5-local-base-ARv1

G-R-A-V-I-T-Y
Языковая модель6 профессий

Дообученная LongT5 на 123,8 млн параметров для генерации текста по входным последовательностям длиной до 4096 токенов.

9скачиваний за 30 дней0лайковвеса обновлены26 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

G-R-A-V-I-T-Y/long-t5-local-base-ARv1 — дообученная модель на архитектуре LongT5, созданная на основе google/long-t5-local-base. Она предназначена для генерации текста по входному тексту и рассчитана на обработку последовательностей длиной до 4096 токенов. В репозитории указаны 123,8 млн параметров и формат safetensors.

README сообщает результаты оценки: Loss 2,9303, Exact Match 18,0 и среднюю длину генерации 3,38 токена. Название модели содержит AR, однако карточка не раскрывает целевую задачу, обучающие данные или intended uses, поэтому конкретное назначение дообучения подтвердить нельзя. Базовая LongT5 описана как англоязычная модель для суммаризации и ответов на вопросы по длинным текстам.

Модель распространяется по лицензии Apache-2.0. Применимость приведённых оценок ограничена тем, что README не сообщает набор данных и подробности оценки.

Сценарии применения

  • суммаризация длинных текстов
  • ответы на вопросы по длинным документам
  • генерация текста на основе входного текста

Ограничения

README не уточняет целевую задачу дообучения, обучающий набор данных и сценарии применения, поэтому оценки Loss и Exact Match трудно интерпретировать. Указанная в карточке базовая модель англоязычная.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIII.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594моделиIII.8Корпоративные функцииДоговоры, юридическая работа и complianceAI помогает ускорять юридический анализ и compliance, не подменяя профессиональное заключение.25 задач1 953модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

long-t5-local-base-ARv1

This model is a fine-tuned version of google/long-t5-local-base on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.9303
  • Exact Match: 18.0
  • Gen Len: 3.38

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 60

Training results

Training LossEpochStepValidation LossExact MatchGen Len
No log1.073.400414.03.86
2.72062.0143.19258.03.66
2.65013.0212.98678.03.7
2.65014.0282.857612.04.58
1.98495.0352.907812.04.52
2.01936.0422.81738.03.84
2.01937.0492.773516.03.42
1.61088.0562.599312.03.82
1.83239.0632.587912.03.92
1.486110.0702.720316.03.4
1.486111.0772.990224.03.1
1.42512.0842.766714.03.36
1.038713.0912.654718.03.42
1.038714.0982.707218.03.34
1.079315.01052.815812.03.58
1.196916.01122.940414.03.32
1.196917.01192.851214.03.3
1.1518.01262.751318.03.68
1.202419.01332.712416.03.48
1.333120.01402.748416.03.4
1.333121.01472.828918.03.44
1.146922.01542.987314.03.36
1.563923.01613.032118.03.4
1.563924.01683.011714.03.3
0.854225.01752.833116.03.34
0.978926.01822.787620.03.36
0.978927.01892.782020.03.36
0.885328.01962.808218.03.38
0.912629.02032.831616.03.36
1.054330.02102.844918.03.64
1.054331.02172.80348.03.62
1.068332.02242.811514.03.46
0.95133.02312.901918.03.34
0.95134.02383.011518.03.24
0.831535.02453.039218.03.24
1.154836.02523.064318.03.36
1.154837.02593.003116.03.42
0.781338.02662.980118.03.48
0.67139.02732.962218.03.48
1.177140.02802.904918.03.46
1.177141.02872.904220.03.56
0.595942.02942.959818.03.48
1.158343.03012.993618.03.44
1.158344.03083.007218.03.44
0.572845.03153.000318.03.44
0.723746.03223.009316.03.4
0.723747.03292.968818.03.42
0.729548.03362.953318.03.38
0.562749.03432.935718.03.36
0.648950.03502.931718.03.4
0.648951.03572.933918.03.4
1.042752.03642.925618.03.4
0.915653.03712.922018.03.4
0.915654.03782.909118.03.38
0.474855.03852.903618.03.36
0.561656.03922.899818.03.36
0.561657.03992.912818.03.36
0.483658.04062.920518.03.36
0.649859.04132.928218.03.36
0.61560.04202.930318.03.38

Framework versions

  • Transformers 4.41.0
  • Pytorch 2.2.1
  • Datasets 2.19.1
  • Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
LongT5ForConditionalGeneration
Ревизия весов
818e105

0 моделей

    Создать бенчмарк