/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Лицензия
Apache 2.0
Архитектура
gpt2 · dense
Базовая модель
distilgpt2
Опубликована
30 мар 2024

Ссылки

Hugging Face

ckt1

samhitmantrala
Генерация текстаТекст → текст3 профессии

Дообученная компактная GPT-2 для генерации текста с контекстом до 1024 токенов.

13скачиваний за 30 дней0лайковвеса обновлены30 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ckt1 — дообученная на неизвестном наборе данных компактная языковая модель на архитектуре GPT-2, основанная на distilbert/distilgpt2. Она предназначена для генерации текста; карточка сообщает значение loss 0,9517 на оценочном наборе, но не уточняет состав набора или протокол оценки. Модель принимает текст и генерирует текст в контексте длиной до 1024 токенов.

Модель опубликована samhitmantrala и распространяется по лицензии Apache-2.0. Базовая модель ориентирована на английский язык; данных о специализации ckt1, целевых сценариях и дополнительных языках в карточке нет. Качество и ограничения дообученной версии трудно оценить без сведений о данных и подробностях оценки.

Сценарии применения

  • генерация продолжений текста
  • создание черновиков на основе текстовой подсказки
  • автодополнение англоязычного текста

Ограничения

Набор данных для дообучения неизвестен, а карточка не раскрывает предназначение модели и подробности оценки. Поэтому её качество для конкретных задач по указанному значению loss определить нельзя.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ckt1

This model is a fine-tuned version of distilbert/distilgpt2 on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.9517

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 50

Training results

Training LossEpochStepValidation Loss
No log1.011.9943
No log2.021.9329
No log3.031.8768
No log4.041.8236
No log5.051.7748
No log6.061.7300
No log7.071.6890
No log8.081.6514
No log9.091.6152
No log10.0101.5820
No log11.0111.5501
No log12.0121.5189
No log13.0131.4888
No log14.0141.4590
No log15.0151.4322
No log16.0161.4058
No log17.0171.3810
No log18.0181.3556
No log19.0191.3308
No log20.0201.3066
No log21.0211.2823
No log22.0221.2586
No log23.0231.2353
No log24.0241.2135
No log25.0251.1919
No log26.0261.1719
No log27.0271.1529
No log28.0281.1349
No log29.0291.1180
No log30.0301.1012
No log31.0311.0854
No log32.0321.0700
No log33.0331.0561
No log34.0341.0429
No log35.0351.0313
No log36.0361.0208
No log37.0371.0112
No log38.0381.0024
No log39.0390.9942
No log40.0400.9869
No log41.0410.9804
No log42.0420.9745
No log43.0430.9694
No log44.0440.9649
No log45.0450.9611
No log46.0460.9580
No log47.0470.9555
No log48.0480.9536
No log49.0490.9523
No log50.0500.9517

Framework versions

  • Transformers 4.38.2
  • Pytorch 2.2.1+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2LMHeadModel
Ревизия весов
e632fdf

0 моделей

    Создать бенчмарк