simctg_one_billion_word

cambridgeltl/simctg_one_billion_word — авторегрессионная языковая модель GPT-2, разработанная Language Technology Lab Кембриджского университета с применением метода SimCTG. Модель предназначена для генерации английского текста на основе заданного префикса и обучена на корпусе One Billion Word Benchmark.

SimCTG калибрует пространство представлений модели контрастивным обучением, а контрастивный поиск помогает уменьшать повторы и сохранять связность генерируемого текста. Модель поддерживает текстовую модальность, относится к задаче text-generation и работает с контекстом до 1024 токенов.

Модель подходит для автодополнения, открытой генерации текста и исследовательских экспериментов с языковым моделированием и стратегиями декодирования. Она не является диалоговой или инструкционной моделью, поэтому качество ответов на команды и фактическая точность не гарантируются.