Это экспериментальный чекпойнт компактной языковой модели Qwen2.5-1.5B-Instruct, подготовленный автором репозитория huggingFacing как вариант серии экспериментов по дистилляции знаний из Qwen2.5-7B-Instruct в модель на 1,5 млрд параметров. Вариант lift_v12_top_only использует gap gate и веса влияния двух верхних слоёв на уровне шагов; обучение проводилось методом on-policy GKD на английском наборе Paper100K, 1500 шагов с глобальным размером пакета 64 и генерацией до 128 токенов за пример.

Модель предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов, унаследованный от базовой instruct-модели. Архитектура — плотная Qwen2 causal language model, контекст — до 32768 токенов; веса представлены в SafeTensors и доступны по лицензии Apache-2.0. Карточка описывает абляционный вариант дистилляции, поэтому его качество следует оценивать отдельно от полного метода и исходной модели.