bloom-560m-safe-peft

Карточка модели показывает, что адаптер загружается поверх BLOOM-560M с помощью PEFT и предназначен для использования в задачах генерации текста и других сценариях, где требуется дообученная версия языковой модели. Подробные сведения о данных, целевой задаче и критериях «safe» в карточке адаптера не указаны.

Базовая модель представляет собой decoder-only Transformer с 559 214 592 параметрами, 24 слоями, 16 attention heads, скрытым размером 1024 и контекстом до 2048 токенов. Она поддерживает многоязычную генерацию: обучающие данные включают 45 естественных и 12 программных языков. Архитектура использует ALiBi, GeLU и byte-level BPE-токенизатор. Сильные стороны — компактный размер и возможность эффективной адаптации через PEFT; ограничения включают типичные для BLOOM ошибки, повторения, стереотипы и генерацию фактически неверного или потенциально вредного текста. Для адаптера отдельная лицензия в карточке не указана; базовая модель распространяется по bigscience-bloom-rail-1.0.