/ Модель

Характеристики

Контекст
1 024 токена
Лицензия
Apache 2.0
Архитектура
gpt2 · dense
Базовая модель
ckt1
Опубликована
30 мар 2024

ckt2

Генерация текстаТекст → текст3 профессии

Дообученная GPT-2-модель для генерации текста с контекстом 1024 токена.

15скачиваний за 30 дней0лайковвеса обновлены30 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ckt2 — дообученная модель генерации текста на архитектуре GPT-2, созданная на основе samhitmantrala/ckt1. В README указана оценка loss 0,6151 на наборе для оценки, но сведения о датасете и методике оценки отсутствуют.

Модель предназначена для генерации текста. Контекст составляет 1024 токена. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. В карточке не описаны целевые сценарии, языки или ограничения применения.

Сценарии применения

  • генерация продолжения текста
  • создание черновиков текста
  • автодополнение текстовых фрагментов

Ограничения

Датасет, целевые сценарии и методика оценки не описаны; результат loss 0,6151 без контекста оценки трудно интерпретировать. Контекст ограничен 1024 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ckt2

This model is a fine-tuned version of samhitmantrala/ckt1 on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.6151

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 50

Training results

Training LossEpochStepValidation Loss
No log1.010.9362
No log2.020.9030
No log3.030.8719
No log4.040.8419
No log5.050.8177
No log6.060.7950
No log7.070.7742
No log8.080.7567
No log9.090.7407
No log10.0100.7287
No log11.0110.7185
No log12.0120.7094
No log13.0130.7015
No log14.0140.6948
No log15.0150.6899
No log16.0160.6856
No log17.0170.6820
No log18.0180.6784
No log19.0190.6769
No log20.0200.6741
No log21.0210.6699
No log22.0220.6656
No log23.0230.6606
No log24.0240.6549
No log25.0250.6488
No log26.0260.6434
No log27.0270.6395
No log28.0280.6360
No log29.0290.6335
No log30.0300.6318
No log31.0310.6305
No log32.0320.6285
No log33.0330.6275
No log34.0340.6265
No log35.0350.6263
No log36.0360.6257
No log37.0370.6251
No log38.0380.6244
No log39.0390.6237
No log40.0400.6229
No log41.0410.6221
No log42.0420.6210
No log43.0430.6199
No log44.0440.6188
No log45.0450.6178
No log46.0460.6170
No log47.0470.6161
No log48.0480.6156
No log49.0490.6153
No log50.0500.6151

Framework versions

  • Transformers 4.38.2
  • Pytorch 2.2.1+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2LMHeadModel
Ревизия весов
702727c

0 моделей