Экспериментальная GPT-2 с 124 млн параметров, предобученная на TinyStories для генерации коротких историй на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
GPT2-124M-TinyStories — экспериментальная языковая модель семейства GPT-2, представленная DarwinAnim8or. Это прототип для изучения результатов предобучения GPT-2 исключительно на повествовательных текстах набора TinyStories; автор уточняет, что модель обучалась с нуля на этих текстах, а не дообучалась от исходных весов GPT-2. Конфигурация и токенизатор GPT-2 оставлены без изменений.
Модель предназначена для генерации коротких историй и продолжения повествовательных текстов на английском языке. Она использует архитектуру GPT2LMHeadModel, содержит 124 млн параметров и рассчитана на контекст до 1024 токенов. Репозиторий распространяет веса в формате safetensors по лицензии MIT.
Это прототип для экспериментов с предобучением на узком корпусе, поэтому его возможности ограничены повествовательным доменом TinyStories и не подтверждают пригодность для широких языковых задач. В README и метаданных не приведены результаты оценки качества.
Модель обучена исключительно на повествовательных текстах TinyStories, поэтому её применение за пределами генерации историй ограничено. README не содержит результатов оценки качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a prototype / proof of concept model to see what the results of pretraining GPT2 exclusively on narrative texts would look like. That's right-- this isn't a finetune, it's entirely pretrained on TinyStories.
The GPT2 config and tokenizer is however unmodified from the original.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…