/ Модель
Каталог

Характеристики

Контекст
1 024 токена
Лицензия
Своя лицензия
Архитектура
gpt2 · dense
Библиотека
transformers
Опубликована
19 авг 2026

Ссылки

Hugging Face

pit2022-gpt2-124m

ichangzii
Генерация текстаТекст → текст3 профессии

GPT-2 на 124 млн параметров, обученная только на данных до 2022 года для генерации текста и оценок без знания будущих событий.

116скачиваний за 30 дней0лайковвеса обновлены19 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PIT-GPT-2-124M — языковая модель ichangzii на архитектуре GPT-2 с 124 млн параметров, обученная с нуля только на текстах не позднее 2022 года. Её чистая временная отсечка предназначена для оценки моделей и сценариев, где важно исключить знания о событиях будущего, например для бэктестов торговых стратегий. Модель принимает текст и генерирует продолжение; использует библиотеку Transformers, формат весов safetensors и контекст до 1024 токенов. Основной язык карточки — английский.

Автор сообщает, что проверка на примерах сущностей, появившихся после 2022 года, показала близкое к нулю знание о них, а генерация остаётся связной и грамматичной. При этом модель обучалась на 4,2 млрд токенов, и её perplexity на WikiText-2 составляет 43,1 — это указывает на недостаточное обучение по сравнению с полностью обученной GPT-2-124M. Подсказка даты в запросе не обеспечивает управление временным срезом: модель имеет одну отсечку знаний, а не выбираемую дату «на момент».

Модель выпущена под лицензией, обозначенной в метаданных как other; конкретные условия следует сверять с карточкой репозитория. Указанные автором ограничения включают неполноту знаний до 2022 года и утечки сведений о сущностях, существовавших или обсуждавшихся до отсечки.

Сценарии применения

  • бэктест торговых стратегий на исторических данных
  • оценка языковой модели на временно ограниченных знаниях
  • генерация продолжений английского текста с отсечкой знаний до 2022 года

Ограничения

Модель обучена на 4,2 млрд токенов и уступает полностью обученной GPT-2-124M по perplexity; автор также сообщает, что подача даты не включает временное управление, а сведения о существовавших или обсуждавшихся до 2022 года сущностях могут присутствовать.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PIT-GPT-2-124M — a point-in-time (≤2022) language model

GPT-2 (124 M) trained from scratch on only ≤2022 data, giving a certified lookahead-free knowledge cutoff. Built for reliable time-sensitive evaluation (e.g. trading backtests) where the model must not know the future — the cutoff is clean by construction (never trained on post-2022 text), not by unlearning or suppression.

Cutoff certification (causal-completion probe)

mean p(answer)
POST-2022 (Threads, Sora, Gemini, DeepSeek, Bard, Grok, Llama, Mistral — should NOT know)0.001
≤2022 (COVID 0.82, Ukraine 0.24, Brexit — should know)0.136

The model has ~zero knowledge of unforeseen 2023+ entities. (Probe caveat: entities that existed or were speculated pre-2022 — e.g. GPT-4, Credit Suisse — leak via legitimate ≤2022 knowledge, not lookahead; those are excluded.)

Quality

  • WikiText-2 perplexity: 43.1 (random-init ≈ 50 000; fully-trained GPT-2-124 M ≈ 30–37)
  • Coherent, grammatical generation. 4.2 B tokens seen (past Chinchilla-optimal for 124 M; undertrained vs GPT-2's ~10 B → ppl ~43 not ~30).
  • loss_curve.csv and ppl_by_checkpoint.json included.

Training

  • Data: ichangzii/pit2022-10b (foundation) + ichangzii/pit2022-news (date-tagged), all ≤2022.
  • GPT-2 tokenizer, AdamW (β2 .95, wd .1, lr 6e-4, ~0.5 M batch), non-overlapping shuffled sampling, bf16, torch.compile. RTX 5090.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer
m = AutoModelForCausalLM.from_pretrained("ichangzii/pit2022-gpt2-124m")
tok = AutoTokenizer.from_pretrained("gpt2")

Limitations

  • Undertrained (4.2 B tokens) — a longer run (~10 B) would lower perplexity and strengthen ≤2022 knowledge.
  • Time-conditioning did not emerge — prepending Date: YYYY-MM-DD has no effect (date-tagged news was only ~4% of training). This is a single clean cutoff, not a queryable as-of-date model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2LMHeadModel
Ревизия весов
a21d44a

0 моделей

    Создать бенчмарк