Характеристики

Лицензия: MIT
Опубликована: 8 авг 2026

Ссылки

Hugging Face

nanogpt-3000

ashrafs1

Генерация текстаТекст → текст3 профессии

Небольшая причинно-языковая модель класса GPT-2, обученная с нуля для генерации английского текста.

29скачиваний за 30 дней0лайковвеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nanoGPT-3000 — предварительно обученная автором с нуля причинно-языковая модель класса GPT-2 на 124 млн параметров, реализованная на PyTorch. Чекпойнт получен после 3 000 шагов обучения примерно на 1,57 млрд токенов FineWeb-10B; README также указывает FineWeb-10B, а метаданные связывают модель с набором HuggingFaceFW/fineweb-edu. Модель предназначена для генерации продолжения текста на английском языке. Контекст составляет 2 048 токенов, словарь — 50 304 токена на основе GPT-2 BPE.

В приведённом сравнении perplexity на WikiText-2 составляет 40,50 против 25,2 у OpenAI GPT-2, обученной примерно на 40 млрд токенов. Это указывает на ограниченное качество чекпойнта относительно указанного ориентира. Репозиторий содержит веса safetensors; лицензия — MIT.

Сценарии применения

генерация продолжения английского текста
эксперименты с небольшими GPT-2-подобными моделями
изучение предварительного обучения языковых моделей
локальный запуск компактной модели для генерации текста

Ограничения

Это чекпойнт после ограниченного объёма предварительного обучения; в README его perplexity на WikiText-2 равна 40,50, выше указанного результата GPT-2. Контекст ограничен 2 048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

nanoGPT-3000

A 124M-parameter GPT-2-class causal language model built from scratch in PyTorch and trained on FineWeb-10B.

This is a pretraining checkpoint (3,000 steps, ~1.57B tokens).

Quick Stats


Parameters	~124M
Context	2,048 tokens
Vocab	50,304 (GPT-2 BPE, padded to 128)
Position enc	RoPE
Norm	RMSNorm + QK-Norm
Activation	Squared ReLU
Attention	FlashAttention-2 varlen (packed docs)
Skips	U-Net style
Optimizer	Muon (2D weights) + AdamW (embeddings)
Batch size	524,288 tokens/step
Hardware	2× A100 40GB
Time	~70 min
MFU	70%
Throughput	375K tok/s

WikiText-2

Model	Tokens	PPL
OpenAI GPT-2	~40B	25.2
nanoGPT-3000	~1.57B	40.50

How to Use

Repo (training code + inference): https://github.com/shehab-ashraf/nanogpt
Blog (deep dive): https://shehab-ashraf.github.io/posts/nanogpt/
Logs (W&B): https://wandb.ai/ashrafshehab-/nanoGPT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: 5ad8a32