Исследовательская модификация GPT-2 Small без эффективной LayerNorm для генерации текста и экспериментов с интерпретируемостью трансформеров.
Подходит для: генерация продолжения текста · изучение влияния LayerNorm на работу GPT-2 · анализ активаций трансформера