ssdlm

xhan77/ssdlm — модель разработчика xhan77, связанная с SSD-LM (Semi-autoregressive Simplex-based Diffusion Language Model), подходом к диффузионной генерации текста с полуавторегрессионным декодированием и модульным управлением генерацией. В карточке Hugging Face модель представлена как PyTorch-модель на базе Transformers и RoBERTa, совместимая с AutoModelForMaskedLM и задачей fill-mask.

Модель предназначена для восстановления замаскированных фрагментов текста и экспериментов с генерацией текстовых продолжений и управляемой генерацией. Она содержит около 454,1 млн параметров и поддерживает контекст до 514 токенов. Репозиторий SSD-LM описывает эксперименты с продолжением текста по подсказке и управлением генерацией с помощью классификаторов тональности.

Практические ограничения включают отсутствие подробной карточки модели с описанием обучения, оценки, языков и лицензии. Также модель не размещена у провайдеров inference, поэтому для использования требуется локальная загрузка через Transformers.