Характеристики

Контекст: 32 768 токенов
Параметры: 1,5 млрд
Размер весов: 5,7 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-1.5B-Instruct
Библиотека: transformers
Опубликована: 17 авг 2026

Ссылки

qwen2.5-7b-to-1.5b-liftkd-v12-no-token-gate-paper100k-step1500-seed10

Генерация текстаТекст → текст3 профессии

Экспериментальная модель Qwen2.5-1.5B-Instruct, дистиллированная из Qwen2.5-7B-Instruct для генерации текста и диалогов.

40скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный чекпойнт Qwen2.5-1.5B-Instruct, созданный автором репозитория в рамках серии абляций для дистилляции языковых моделей с 7B до 1.5B параметров. Модель использует плотную архитектуру Qwen2 и предназначена для генерации текста и диалогов; доступен интерфейс вызова инструментов. Контекст — до 32 768 токенов.

Вариант проверяет обучение с пошаговыми online-весами влияния Head и Top без token gating. Указаны учитель Qwen/Qwen2.5-7B-Instruct, 96 000 обучающих примеров и 2 000 примеров для контроллера; обучение проведено за 1 500 шагов методом on-policy GKD. Репозиторий содержит веса SafeTensors и распространяется по лицензии Apache-2.0. Это чекпойнт абляционного эксперимента, поэтому README не приводит оценок качества и не подтверждает преимущество этой конфигурации.

Сценарии применения

генерация ответов в диалоговом ассистенте
создание кратких текстовых ответов
эксперименты с дистилляцией языковых моделей
сравнение вариантов GKD без token gating

Ограничения

Это чекпойнт абляционного эксперимента; README не содержит результатов оценки качества или сравнений с другими вариантами. Обучающие данные описаны как англоязычные, поэтому поддержка других языков не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

lift_v12_no_token_gate

This repository contains the lift_v12_no_token_gate checkpoint from the matched V12 Paper100K ablation suite for Qwen2.5 7B-to-1.5B knowledge distillation.

Variant

Step-level online Head and Top influence weights without token gating.

Training protocol

Teacher: Qwen/Qwen2.5-7B-Instruct
Student initialization: Qwen/Qwen2.5-1.5B-Instruct
Data: lift_paper_en_natural_v1/100k (96,000 training examples and a seeded 2,000-example controller split)
Objective: fully on-policy GKD with the variant-specific components above
Optimizer steps: 1,500
Global batch size: 64
Optimizer: AdamW, cosine learning rate from 1e-5 to 1e-7, weight decay 1e-2
Sampling: temperature 0.9, at most 128 generated tokens
Seed: 10
Weights: Hugging Face SafeTensors

The full method checkpoint is available at huggingFacing/qwen25_7B_to_1.5B_v12_onlineif_paper100k_1500.

Repository ID: huggingFacing/qwen2.5-7b-to-1.5b-liftkd-v12-no-token-gate-paper100k-step1500-seed10.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 5360826