Характеристики

Базовая модель: Qwen3-0.6B
Библиотека: peft
Опубликована: 9 дек 2025

Ссылки

qwen3_06B_lora_math

Генерация текстаТекст → текст3 профессии

lucylq/qwen3_06B_lora_math — LoRA-адаптер для модели unsloth/Qwen3-0.6B, дообученный на датасете MetaMathQA с использованием Unsloth, PEFT и SFT.

5 290скачиваний за 30 дней1лайквеса обновлены5 фев 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста с акцентом на математические задачи и служит также для тестирования возможностей ExecuTorch при работе с LoRA.

Модель основана на Qwen3 с размером 0,6 млрд параметров. Указана текстовая модальность и поддержка сценариев text-generation; язык и размер контекстного окна в карточке не уточняются. Дообучение выполнено в течение одной эпохи, с ограничением до 50 000 примеров, в формате bf16. Для развёртывания доступны файлы базовой модели и LoRA-весов, преобразованные для XNNPACK и 8-битного квантования с использованием torchao, а также требуется отдельный Qwen tokenizer.

Сильной стороной модели является компактный размер и возможность применения LoRA-адаптера в средах, поддерживающих ExecuTorch, включая сценарии с разделением базовых и адаптерных весов. Ограничения включают небольшой размер модели, отсутствие подробных сведений о качестве, языках, контекстном окне и результатах оценки. Лицензия в README не указана; условия использования следует уточнять для базовой модели, адаптера и датасета отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

Qwen0.6B trained on the MetaMathQA dataset using Unsloth. Used to test ExecuTorch LoRA capabilities.

Training Data

Dataset: https://huggingface.co/datasets/meta-math/MetaMathQA

Training Configuration

OUTPUT_DIR = "./outputs"
BATCH_SIZE = 2  # Smaller batch for longer sequences
GRADIENT_ACCUMULATION_STEPS = 8  # Effective batch = 16
LEARNING_RATE = 2e-4
NUM_EPOCHS = 1  # MetaMathQA is large, 1 epoch is often enough
WARMUP_RATIO = 0.03
LOGGING_STEPS = 25
SAVE_STEPS = 500
MAX_SAMPLES = 50000  # Limit samples for faster training (set None for full dataset)

Training Hyperparameters

Using bf16, which is what the original Qwen0.6B checkpoint it.

Framework versions

PEFT 0.18.0

ExecuTorch Files

These are Qwen3 0.6B models, lowered to XNNPACK, quantized with torchao 8da4w and embedding quantization following the export script in: https://github.com/meta-pytorch/executorch-examples/blob/main/program-data-separation/export_lora.sh

See the corresponding README in: https://github.com/meta-pytorch/executorch-examples/tree/main/program-data-separation/cpp/lora_example

qwen3_06B_q.ptd: foundation weights
qwen3_06B_q.pte: base model
qwen3_06B_lora_q.ptd: lora weights
qwen3_06B_lora_q.pte: lora model

To run the model, please download the Qwen tokenizer from: https://huggingface.co/Qwen/Qwen-tokenizer/tree/main

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Ревизия весов: 0e6bc3a