hbfreed/pruned_olmo3_4096_32_32 — структурно прореженная версия разговорной модели allenai/OLMo-3-7B-Instruct. Это плотная авторегрессионная модель семейства OLMo 3 примерно на 4,2 млрд параметров; в репозитории веса сохранены в формате safetensors. При прореживании размер промежуточного слоя MLP уменьшен с 11 008 до 4 096, при этом сохранены 32 слоя и 32 головы внимания. Модель генерирует текст и поддерживает диалог; заявленная длина контекста — 65 536 токенов.

Чекпойнт предназначен прежде всего как начальная точка для дистилляции или дальнейшего дообучения. После структурного прореживания модель не переобучали и не дистиллировали, поэтому её производительность значительно ниже исходной. Лицензия — Apache 2.0.