Англоязычная GPT-2 для генерации и продолжения текста, обученная на данных WikiText.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
irodkin/gpt2-wiki2 — англоязычная авторегрессионная модель генерации текста на архитектуре GPT-2, распространяемая в форматах PyTorch и safetensors. По метаданным, модель связана с датасетами WikiText и WikiText-2; карточка приводит метрики perplexity и cross-entropy на обучающей и валидационной выборках для контекста до 1024 токенов.
Модель предназначена для продолжения текста и исследования языкового моделирования на корпусе энциклопедических текстов. Её можно использовать для экспериментов с влиянием длины контекста на качество предсказания следующего токена. Карточка не описывает специальные чат-возможности или предметную специализацию.
Контекст ограничен 1024 токенами. Карточка приводит метрики на WikiText, но не сообщает об оценке на других задачах или о специальных чат-возможностях.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
metrics on 1024 context:
metrics on 252 context:
metrics on 378 context:
metrics on 504 context:
Dependence of the cross entropy loss on the length of the context for prediction
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…