pythia-1b-deduped-tldr-sft

trl-lib/pythia-1b-deduped-tldr-sft — дообученная методом supervised fine-tuning модель на основе EleutherAI/pythia-1b-deduped, опубликованная библиотекой TRL. По названию и использованию в экспериментах TL;DR модель предназначена для генерации кратких резюме текстов. Это текстовая авторегрессионная модель архитектуры GPT-NeoX с примерно 1,2 млрд параметров и контекстом 2048 токенов.

Базовая модель Pythia разработана EleutherAI; семейство создано прежде всего для контролируемых научных исследований поведения и ограничений языковых моделей. Pythia обучена на английском корпусе The Pile, а базовая модель распространяется по лицензии Apache 2.0. Карточка целевой модели отсутствует, поэтому отдельная лицензия и точные характеристики её дообучения в доступных источниках не подтверждены. Возможности суммаризации TL;DR следуют из названия и упоминаний модели в экспериментах TRL; базовой модели присущи ограничения в фактической точности и следовании инструкциям.