/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
124 млн
Архитектура
t5 · dense
Опубликована
27 мая 2024

Ссылки

Hugging Face

results_2

abhi317
Языковая модель

Компактная модель T5, обученная с нуля для генерации текста по текстовому входу.

7скачиваний за 30 дней0лайковвеса обновлены27 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

abhi317/results_2 — модель семейства T5 с архитектурой T5ForConditionalGeneration и 123,8 млн параметров. По README, её обучили с нуля; указан результат оценки Loss 2,5776, однако набор данных обозначен как None.

Модель поддерживает генерацию текста по текстовому входу и может использоваться в сценариях преобразования текста, но карточка не уточняет целевые задачи, языки или область применения. Контекст составляет 512 токенов. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • преобразование текстового запроса в текстовый ответ
  • эксперименты с генерацией текста на базе T5
  • оценка модели на задачах text-to-text

Ограничения

README не описывает назначение, обучающие данные или ограничения; набор данных указан как None. Лицензия не приведена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

results_2

This model was trained from scratch on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 2.5776

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 4
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 100

Training results

Training LossEpochStepValidation Loss
No log1.015.3982
No log2.024.8609
No log3.034.7142
No log4.044.6615
No log5.054.6245
No log6.064.5932
No log7.074.5661
No log8.084.5424
No log9.094.5194
No log10.0104.4968
No log11.0114.4755
No log12.0124.4542
No log13.0134.4360
No log14.0144.4160
No log15.0154.3955
No log16.0164.3757
No log17.0174.3547
No log18.0184.3332
No log19.0194.3108
No log20.0204.2878
No log21.0214.2635
No log22.0224.2386
No log23.0234.2121
No log24.0244.1849
No log25.0254.1581
No log26.0264.1309
No log27.0274.1021
No log28.0284.0720
No log29.0294.0414
No log30.0304.0136
No log31.0313.9845
No log32.0323.9580
No log33.0333.9301
No log34.0343.9012
No log35.0353.8716
No log36.0363.8444
No log37.0373.8159
No log38.0383.7859
No log39.0393.7543
No log40.0403.7212
No log41.0413.6875
No log42.0423.6533
No log43.0433.6191
No log44.0443.5842
No log45.0453.5481
No log46.0463.5108
No log47.0473.4728
No log48.0483.4346
No log49.0493.4008
No log50.0503.3707
No log51.0513.3395
No log52.0523.3093
No log53.0533.2779
No log54.0543.2470
No log55.0553.2158
No log56.0563.1847
No log57.0573.1528
No log58.0583.1244
No log59.0593.0970
No log60.0603.0729
No log61.0613.0486
No log62.0623.0261
No log63.0633.0033
No log64.0642.9807
No log65.0652.9575
No log66.0662.9348
No log67.0672.9117
No log68.0682.8894
No log69.0692.8685
No log70.0702.8501
No log71.0712.8357
No log72.0722.8204
No log73.0732.8070
No log74.0742.7933
No log75.0752.7819
No log76.0762.7697
No log77.0772.7569
No log78.0782.7427
No log79.0792.7304
No log80.0802.7188
No log81.0812.7096
No log82.0822.6990
No log83.0832.6880
No log84.0842.6766
No log85.0852.6658
No log86.0862.6550
No log87.0872.6444
No log88.0882.6353
No log89.0892.6272
No log90.0902.6194
No log91.0912.6118
No log92.0922.6052
No log93.0932.5996
No log94.0942.5947
No log95.0952.5901
No log96.0962.5860
No log97.0972.5828
No log98.0982.5803
No log99.0992.5785
No log100.01002.5776

Framework versions

  • Transformers 4.39.3
  • Pytorch 2.1.2
  • Datasets 2.18.0
  • Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
952b349

0 моделей

    Создать бенчмарк