Характеристики

Контекст: 512 токенов
Лицензия: MIT
Архитектура: gpt2 · dense
Опубликована: 4 авг 2026

Ссылки

Hugging Face

tinystories-gpt-30m

Bwenge840

Генерация текстаТекст → текст3 профессии

Небольшая GPT-2-подобная модель, обученная с нуля на TinyStories для генерации коротких историй на английском языке.

204скачиваний за 30 дней0лайковвеса обновлены4 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Bwenge840/tinystories-gpt-30m — авторегрессионная GPT-модель на основе архитектуры GPT-2, обученная разработчиком с нуля на наборе TinyStories. В карточке указаны 6 слоёв, 6 голов внимания и размерность эмбеддингов 384; метаданные классифицируют модель как GPT2LMHeadModel с плотной архитектурой. В README заявлено 30 млн параметров, однако там же приведено значение 120,14 млн, поэтому точный размер по карточке определить нельзя.

Модель предназначена для генерации коротких текстов и историй на английском языке. Она принимает текстовые токены, использует BPE-токенизатор с GPT-2 словарём и имеет контекстное окно 512 токенов. Веса доступны в формате safetensors; лицензия — MIT.

Обучение на TinyStories ориентирует модель на простые повествовательные тексты. Карточка не приводит оценки качества или подробностей о поведении вне этого сценария, поэтому пригодность для сложных диалогов, фактических ответов и специализированных задач не подтверждена.

Сценарии применения

генерация коротких детских историй на английском
продолжение простого повествовательного текста
эксперименты с компактной GPT-моделью
обучающие демонстрации авторегрессионной генерации

Ограничения

В README приведены противоречивые значения числа параметров: 30 млн в названии и 120,14 млн в характеристиках. Заявленный контекст ограничен 512 токенами; данных о качестве и пригодности для задач за пределами простых историй нет.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TinyStories GPT (30M Parameters)

Custom 30M parameter GPT model trained from scratch on the TinyStories dataset.

Model Details

Architecture: Decoder-only Autoregressive Transformer (GPT)
Parameters: 120.14M
Context Window (block_size): 512 subword tokens
Embedding Dimension (n_embd): 384
Layers / Heads: 6 layers, 6 heads
Tokenizer: BPE (tiktoken GPT-2 vocabulary)
Weight Tying: Enabled
Precision: 16-bit mixed precision (bfloat16/float16)

How to Use

from transformers import GPT2Tokenizer, pipeline

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
generator = pipeline("text-generation", model="Bwenge840/tinystories-gpt-30m", tokenizer=tokenizer)

story = generator("Once upon a time, a little girl named Jessica", max_new_tokens=150, do_sample=True, top_k=40, temperature=0.8)
print(story[0]["generated_text"])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: bd8f6de