Характеристики

Лицензия: Apache 2.0
Библиотека: pytorch
Опубликована: 4 окт 2025

Ссылки

Hugging Face

slm-124m-tinystories-wiki

gopluto-ai

Генерация текстаТекст → текст

Компактная GPT-подобная модель на 124 млн параметров для генерации коротких английских текстов.

112скачиваний за 30 дней2лайкавеса обновлены4 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Небольшая авторегрессионная языковая модель в стиле GPT, опубликованная gopluto-ai. Модель содержит около 124 млн параметров и использует архитектуру decoder-only с Pre-LN, SDPA attention и общими входными и выходными эмбеддингами. Для токенизации применяется tiktoken с кодировкой GPT-2; контекст ограничен 512 токенами.

Модель обучена на TinyStories и английской Википедии (снимок от 2023-11-01) и предназначена для генерации текста на английском языке. В README приведены результаты лучшего чекпойнта примерно на шаге 43,5 тыс.: validation loss около 2,65 и perplexity около 14,2. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Сценарии применения

генерация коротких историй
продолжение английского текста
эксперименты с компактными языковыми моделями

Ограничения

Контекст ограничен 512 токенами; модель компактная, а приведённые результаты указывают на ограниченное качество генерации по сравнению с крупными языковыми моделями.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

SLM (GPT-style, ~124M params)

Tokenizer: tiktoken ("gpt2", 50257)
Context length: 512
Architecture: Decoder-only, Pre-LN, SDPA attention, tied output/input embeddings
Training data: TinyStories + Wikipedia EN (snapshot 20231101)
Best checkpoint (from logs): ~step 43.5k (val loss≈2.65, ppl≈14.2)

Usage

import os, sys, json, torch, tiktoken
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file

repo_id = "gopluto-ai/slm-124m-tinystories-wiki"

cfg_path = hf_hub_download(repo_id, "config.json")
wt_path  = hf_hub_download(repo_id, "model.safetensors")
slm_path = hf_hub_download(repo_id, "slm.py")

# make the downloaded slm.py importable
sys.path.append(os.path.dirname(slm_path))
from slm import SLM

# load model
cfg = json.load(open(cfg_path))
model = SLM(**cfg)
model.load_state_dict(load_file(wt_path))
model.eval()

# tokeniser
enc = tiktoken.get_encoding("gpt2")
prompt = "Once upon a time"
ids = torch.tensor(enc.encode(prompt)).unsqueeze(0)

# generate
with torch.no_grad():
    y = model.generate(ids, max_new_tokens=50, temperature=0.9, top_k=50)
print(enc.decode(y[0].tolist()))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Архитектура ? неизвестна transformers в образе рантайма.

Ревизия весов: db2b200