Характеристики

Контекст: 32 768 токенов
Параметры: 1,5 млрд
Размер весов: 5,7 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-1.5B-Instruct
Библиотека: transformers
Опубликована: 17 авг 2026

Ссылки

Hugging Face

qwen2.5-7b-to-1.5b-liftkd-v12-head-only-paper100k-step1500-seed10

huggingFacing

Генерация текстаТекст → текст4 профессии

Экспериментальная языковая модель Qwen2.5-1.5B, дистиллированная из версии 7B для генерации текста и диалогов.

38скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный чекпойнт Qwen2.5-1.5B-Instruct, дообученный разработчиком huggingFacing методом дистилляции знаний от Qwen2.5-7B-Instruct. Модель предназначена для генерации текста и диалоговых ответов; вариант использует только пошаговые онлайн-веса влияния LM-head в механизме gap gate. Обучение выполнено в рамках абляционного эксперимента Paper100K методом fully on-policy GKD на 96 тысячах обучающих примеров и контрольной выборке из 2 тысяч примеров; проведено 1500 шагов с размером глобального батча 64.

Модель имеет плотную архитектуру Qwen2 и 1,5 млрд параметров, принимает текст и выдаёт текст. Контекстное окно — до 32 768 токенов. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Это экспериментальный вариант из серии абляций, поэтому его качество и преимущества конкретного компонента следует оценивать на подходящих задачах; README также указывает на отдельный чекпойнт полного метода.

Сценарии применения

генерация ответов в диалоге
создание текстовых продолжений
сравнение вариантов дистилляции Qwen2.5
исследование влияния LM-head на пошаговую дистилляцию

Ограничения

Это абляционный экспериментальный чекпойнт, обученный на англоязычном наборе данных; результаты могут отличаться от полного метода и требуют отдельной оценки. Генерация при обучении ограничивалась 128 токенами, что само по себе не задаёт предельную длину вывода при использовании модели.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lift_v12_head_only

This repository contains the lift_v12_head_only checkpoint from the matched V12 Paper100K ablation suite for Qwen2.5 7B-to-1.5B knowledge distillation.

Variant

Gap gate with step-level online LM-head influence weights only.

Training protocol

Teacher: Qwen/Qwen2.5-7B-Instruct
Student initialization: Qwen/Qwen2.5-1.5B-Instruct
Data: lift_paper_en_natural_v1/100k (96,000 training examples and a seeded 2,000-example controller split)
Objective: fully on-policy GKD with the variant-specific components above
Optimizer steps: 1,500
Global batch size: 64
Optimizer: AdamW, cosine learning rate from 1e-5 to 1e-7, weight decay 1e-2
Sampling: temperature 0.9, at most 128 generated tokens
Seed: 10
Weights: Hugging Face SafeTensors

The full method checkpoint is available at huggingFacing/qwen25_7B_to_1.5B_v12_onlineif_paper100k_1500.

Repository ID: huggingFacing/qwen2.5-7b-to-1.5b-liftkd-v12-head-only-paper100k-step1500-seed10.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: a0e6b3d