expanse-gpt2-small-x777

stanford-crfm/expanse-gpt2-small-x777 — авторегрессионная языковая модель GPT-2 от Stanford Center for Research on Foundation Models (Stanford CRFM). Репозиторий содержит контрольные точки обучения; карточка Hugging Face не описывает отдельную специализацию или датасет, поэтому модель можно охарактеризовать как генератор текста общего назначения.

Модель имеет архитектуру GPT-2 с 12 слоями, 12 головами внимания и размерностью скрытого представления 768; контекст — до 1024 токенов. Она принимает текст и продолжает его на английском языке, используя словарь GPT-2 из 50 257 токенов. Модель распространяется в формате PyTorch; в метаданных репозитория лицензия не установлена. Как и другие небольшие языковые модели, может генерировать фактически неверный или несвязный текст, а короткий контекст ограничивает работу с длинными документами.