gpt-j-tiny-random

Она реализует архитектуру GPT-J и предназначена для авторегрессионного text generation через библиотеку Transformers, включая сценарии тестирования и экспериментов с моделями семейства GPT-J.

Конфигурация описывает causal language model GPTJForCausalLM с 8 слоями, размерностью скрытого представления 512, 4 attention heads, rotary_dim 64 и словарём на 50 400 токенов. Максимальный контекст по конфигурации составляет 2048 токенов; используется GPT2Tokenizer. Указан тип данных float32. Модель работает с текстом и не поддерживает заявленные дополнительные модальности; поддерживаемые языки явно не указаны.

Ключевая особенность — малый размер конфигурации, благодаря чему модель удобна для локальных тестов и проверки совместимости инструментов, но её качество генерации и пригодность для практических языковых задач ограничены. В карточке модели нет описания обучения, benchmark-результатов, языкового охвата или явных преимуществ по сравнению с полноразмерными моделями GPT-J. Лицензия в доступных материалах не указана.