Характеристики

Контекст: 32 768 токенов
Параметры: 1,5 млрд
Размер весов: 5,7 ГБ
Лицензия: Apache 2.0
Архитектура: qwen2 · dense
Базовая модель: Qwen2.5-1.5B-Instruct
Библиотека: transformers
Опубликована: 17 авг 2026

Ссылки

qwen2.5-7b-to-1.5b-gkd-paper100k-step1500-seed10

Генерация текстаТекст → текст3 профессии

Экспериментальная модель Qwen2.5-1.5B-Instruct, дообученная методом on-policy дистилляции для генерации текста и диалогов.

65скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт компактной языковой модели Qwen2.5-1.5B-Instruct, созданный автором репозитория huggingFacing в рамках серии абляций Paper100K. Модель дообучена методом fully on-policy vanilla GKD: ученик Qwen2.5-1.5B-Instruct обучался на ответах учителя Qwen2.5-7B-Instruct. В обучающем наборе использовано 96 тысяч примеров и отдельная выборка из 2 тысяч примеров; выполнено 1 500 шагов оптимизации.

Модель предназначена для генерации текста и диалоговых ответов. Это плотная авторегрессионная архитектура Qwen2 с 1,5 млрд параметров, контекстом до 32 768 токенов и поддержкой интерфейса вызова инструментов. Весовые файлы представлены в SafeTensors, для работы используется Transformers. Поддерживаемый язык карточки — английский; обучающие данные также обозначены как английский естественный текст.

Чекпойнт подходит для изучения дистилляции знаний и сравнения вариантов обучения Qwen2.5 меньшего размера, а также для экспериментальной генерации текста. Качество и поведение ограничены конкретным протоколом обучения, набором Paper100K и 1 500 шагами; README не приводит оценок качества. Лицензия — Apache-2.0.

Сценарии применения

генерация диалоговых ответов на английском языке
сравнение методов дистилляции знаний для языковых моделей
эксперименты с компактными моделями Qwen2.5
генерация коротких ответов с контекстом до 32 768 токенов
проверка интеграции языковой модели с инструментами

Ограничения

Это экспериментальный чекпойнт, обученный на конкретной абляции Paper100K всего за 1 500 шагов; в README не приведены результаты оценки качества. Поддержка языков сверх английского не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

vanilla_gkd

This repository contains the vanilla_gkd checkpoint from the matched V12 Paper100K ablation suite for Qwen2.5 7B-to-1.5B knowledge distillation.

Variant

Fully on-policy vanilla GKD baseline.

Training protocol

Teacher: Qwen/Qwen2.5-7B-Instruct
Student initialization: Qwen/Qwen2.5-1.5B-Instruct
Data: lift_paper_en_natural_v1/100k (96,000 training examples and a seeded 2,000-example controller split)
Objective: fully on-policy GKD with the variant-specific components above
Optimizer steps: 1,500
Global batch size: 64
Optimizer: AdamW, cosine learning rate from 1e-5 to 1e-7, weight decay 1e-2
Sampling: temperature 0.9, at most 128 generated tokens
Seed: 10
Weights: Hugging Face SafeTensors

The full method checkpoint is available at huggingFacing/qwen25_7B_to_1.5B_v12_onlineif_paper100k_1500.

Repository ID: huggingFacing/qwen2.5-7b-to-1.5b-gkd-paper100k-step1500-seed10.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: 32cad66