Характеристики

Контекст: 262 144 токена
Лицензия: CC BY-SA 4.0
Базовая модель: Qwen3.8-27B
Библиотека: peft
Опубликована: 22 авг 2026

Ссылки

Hugging Face

Qwen3.8-27B-nz-wvs-full_string_distribution-overall

1jamesthompson1

Генерация текстаТекст → текст3 профессии

Это LoRA-адаптер для базовой модели Qwen/Qwen3.8-27B, разработанный 1jamesthompson1 в рамках проекта AIML589.

964скачиваний за 30 дней0лайковвеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Адаптер предназначен для генерации текста и дообучен на конфигурации full_string_distribution датасета wvs-nz-value-alignment, в подвыборке overall. Его специализация связана с моделированием или воспроизведением распределения ценностных установок, представленных в данных исследования World Values Survey для Новой Зеландии.

Модель использует параметроэффективное дообучение LoRA с rank 64, alpha 128 и dropout 0,05; DoRA не применялась. Обучение проводилось в течение трёх эпох с максимальной длиной последовательности 1024 токена, batch size 2, накоплением градиента 4 и типом данных bf16. README не содержит подтверждённых сведений о языках, модальностях, полном контекстном окне базовой модели или результатах независимого тестирования.

Сильной стороной является узкая адаптация Qwen/Qwen3.8-27B к конкретному датасету и задаче ценностного выравнивания при меньших требованиях к хранению и дообучению по сравнению с полной перенастройкой модели. Ограничения включают зависимость от базовой модели, узкую область обучающих данных и отсутствие заявленных оценок качества, поэтому пригодность для общих диалоговых, аналитических или иных задач не подтверждена. Адаптер распространяется по лицензии CC BY-SA 4.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей III.1Корпоративные функцииСтратегия, продукт и бизнес-моделиAI помогает принимать продуктовые и стратегические решения на основе свидетельств, а не только интуиции.19 задач2 459моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B LoRA — Full String Distribution, Overall

This model is a LoRA fine-tune of Qwen/Qwen3.8-27B as part of the AIML589 project.

This adapter is licensed under CC BY-SA 4.0.

Dataset

Fine-tuned on the full_string_distribution config of the wvs-nz-value-alignment dataset, overall subpopulation.

Part of the wvs-nz-value-alignment collection.

GPU: NVIDIA RTX PRO 6000 Blackwell Workstation Edition · Training time: 145m 3s

Training command

The exact command used to produce this adapter (also saved in finetune_config.json):

finetune.py --model Qwen/Qwen3.8-27B --dataset full_string_distribution --subpopulation overall --upload-to-hf --lora-r 64 --lora-alpha 128

Training hyperparameters

Parameter	Value
LoRA rank	64
LoRA alpha	128
LoRA dropout	0.05
DoRA	False
Learning rate	0.0002
Batch size	4
Gradient accumulation	4
Epochs	3
Max seq length	1024
Warmup ratio
Dtype	bf16
Trainable parameters (LoRA)	318,767,104
Adapter size on disk	1,275,137,464 bytes

Training log

{"loss": 6.256113815307617, "grad_norm": 6.40726900100708, "learning_rate": 5.4545454545454546e-05, "epoch": 0.09324009324009325, "step": 10}
{"eval_loss": 1.3484913110733032, "eval_runtime": 80.7556, "eval_samples_per_second": 3.628, "eval_steps_per_second": 0.916, "epoch": 0.09324009324009325, "step": 10}
{"loss": 5.410355758666992, "grad_norm": 3.5597217082977295, "learning_rate": 0.00011515151515151516, "epoch": 0.1864801864801865, "step": 20}
{"eval_loss": 1.2728853225708008, "eval_runtime": 80.6962, "eval_samples_per_second": 3.631, "eval_steps_per_second": 0.917, "epoch": 0.1864801864801865, "step": 20}
{"loss": 5.041725540161133, "grad_norm": 4.474068641662598, "learning_rate": 0.00017575757575757578, "epoch": 0.27972027972027974, "step": 30}
{"eval_loss": 1.2883800268173218, "eval_runtime": 80.6402, "eval_samples_per_second": 3.633, "eval_steps_per_second": 0.918, "epoch": 0.27972027972027974, "step": 30}
{"loss": 5.100446701049805, "grad_norm": 2.9629013538360596, "learning_rate": 0.00019587628865979381, "epoch": 0.372960372960373, "step": 40}
{"eval_loss": 1.281733512878418, "eval_runtime": 80.6886, "eval_samples_per_second": 3.631, "eval_steps_per_second": 0.917, "epoch": 0.372960372960373, "step": 40}
{"loss": 5.235874176025391, "grad_norm": 2.9193851947784424, "learning_rate": 0.00018900343642611685, "epoch": 0.4662004662004662, "step": 50}
{"eval_loss": 1.3060128688812256, "eval_runtime": 80.6641, "eval_samples_per_second": 3.632, "eval_steps_per_second": 0.917, "epoch": 0.4662004662004662, "step": 50}
{"loss": 5.504611587524414, "grad_norm": 3.813941240310669, "learning_rate": 0.00018213058419243986, "epoch": 0.5594405594405595, "step": 60}
{"eval_loss": 1.3046181201934814, "eval_runtime": 80.6421, "eval_samples_per_second": 3.633, "eval_steps_per_second": 0.918, "epoch": 0.5594405594405595, "step": 60}
{"loss": 5.097433090209961, "grad_norm": 2.1883575916290283, "learning_rate": 0.0001752577319587629, "epoch": 0.6526806526806527, "step": 70}
{"eval_loss": 1.253036618232727, "eval_runtime": 80.6672, "eval_samples_per_second": 3.632, "eval_steps_per_second": 0.917, "epoch": 0.6526806526806527, "step": 70}
{"loss": 4.834722900390625, "grad_norm": 2.0632448196411133, "learning_rate": 0.00016838487972508593, "epoch": 0.745920745920746, "step": 80}
{"eval_loss": 1.242302417755127, "eval_runtime": 80.7555, "eval_samples_per_second": 3.628, "eval_steps_per_second": 0.916, "epoch": 0.745920745920746, "step": 80}
{"loss": 5.122976684570313, "grad_norm": 2.3043107986450195, "learning_rate": 0.00016151202749140894, "epoch": 0.8391608391608392, "step": 90}
{"eval_loss": 1.220984697341919, "eval_runtime": 80.8537, "eval_samples_per_second": 3.624, "eval_steps_per_second": 0.915, "epoch": 0.8391608391608392, "step": 90}
{"loss": 5.009899520874024, "grad_norm": 2.1852080821990967, "learning_rate": 0.00015463917525773197, "epoch": 0.9324009324009324, "step": 100}
{"eval_loss": 1.2226063013076782, "eval_runtime": 80.7565, "eval_samples_per_second": 3.628, "eval_steps_per_second": 0.916, "epoch": 0.9324009324009324, "step": 100}
{"loss": 4.52313003540039, "grad_norm": 2.632681369781494, "learning_rate": 0.000147766323024055, "epoch": 1.0186480186480187, "step": 110}
{"eval_loss": 1.2302356958389282, "eval_runtime": 80.7709, "eval_samples_per_second": 3.628, "eval_steps_per_second": 0.916, "epoch": 1.0186480186480187, "step": 110}
{"loss": 4.6408233642578125, "grad_norm": 2.5660579204559326, "learning_rate": 0.00014089347079037802, "epoch": 1.1118881118881119, "step": 120}
{"eval_loss": 1.2192951440811157, "eval_runtime": 80.7718, "eval_samples_per_second": 3.628, "eval_steps_per_second": 0.916, "epoch": 1.1118881118881119, "step": 120}
{"loss": 4.838119888305664, "grad_norm": 2.264719009399414, "learning_rate": 0.00013402061855670103, "epoch": 1.205128205128205, "step": 130}
{"eval_loss": 1.207798719406128, "eval_runtime": 80.3459, "eval_samples_per_second": 3.647, "eval_steps_per_second": 0.921, "epoch": 1.205128205128205, "step": 130}
{"loss": 4.8109485626220705, "grad_norm": 1.342677354812622, "learning_rate": 0.00012714776632302406, "epoch": 1.2983682983682985, "step": 140}
{"eval_loss": 1.2043304443359375, "eval_runtime": 80.3194, "eval_samples_per_second": 3.648, "eval_steps_per_second": 0.921, "epoch": 1.2983682983682985, "step": 140}
{"loss": 5.049530410766602, "grad_norm": 1.5040946006774902, "learning_rate": 0.00012027491408934708, "epoch": 1.3916083916083917, "step": 150}
{"eval_loss": 1.2001008987426758, "eval_runtime": 80.566, "eval_samples_per_second": 3.637, "eval_steps_per_second": 0.919, "epoch": 1.3916083916083917, "step": 150}
{"loss": 4.675854110717774, "grad_norm": 0.9400758147239685, "learning_rate": 0.0001134020618556701, "epoch": 1.4848484848484849, "step": 160}
{"eval_loss": 1.1897814273834229, "eval_runtime": 80.2059, "eval_samples_per_second": 3.653, "eval_steps_per_second": 0.923, "epoch": 1.4848484848484849, "step": 160}
{"loss": 4.867073440551758, "grad_norm": 0.7708490490913391, "learning_rate": 0.00010652920962199313, "epoch": 1.578088578088578, "step": 170}
{"eval_loss": 1.1955139636993408, "eval_runtime": 80.0243, "eval_samples_per_second": 3.661, "eval_steps_per_second": 0.925, "epoch": 1.578088578088578, "step": 170}
{"loss": 5.024041748046875, "grad_norm": 1.1309126615524292, "learning_rate": 9.965635738831616e-05, "epoch": 1.6713286713286712, "step": 180}
{"eval_loss": 1.192880630493164, "eval_runtime": 79.9783, "eval_samples_per_second": 3.663, "eval_steps_per_second": 0.925, "epoch": 1.6713286713286712, "step": 180}
{"loss": 4.817770004272461, "grad_norm": 0.8828091025352478, "learning_rate": 9.278350515463918e-05, "epoch": 1.7645687645687644, "step": 190}
{"eval_loss": 1.1889052391052246, "eval_runtime": 80.6878, "eval_samples_per_second": 3.631, "eval_steps_per_second": 0.917, "epoch": 1.7645687645687644, "step": 190}
{"loss": 4.6045989990234375, "grad_norm": 0.8844975829124451, "learning_rate": 8.591065292096219e-05, "epoch": 1.8578088578088578, "step": 200}
{"eval_loss": 1.1860909461975098, "eval_runtime": 80.6915, "eval_samples_per_second": 3.631, "eval_steps_per_second": 0.917, "epoch": 1.8578088578088578, "step": 200}
{"loss": 4.943369674682617, "grad_norm": 0.9089457988739014, "learning_rate": 7.903780068728523e-05, "epoch": 1.951048951048951, "step": 210}
{"eval_loss": 1.1861586570739746, "eval_runtime": 80.3407, "eval_samples_per_second": 3.647, "eval_steps_per_second": 0.921, "epoch": 1.951048951048951, "step": 210}
{"loss": 4.372016525268554, "grad_norm": 0.8271580934524536, "learning_rate": 7.216494845360825e-05, "epoch": 2.0372960372960374, "step": 220}
{"eval_loss": 1.18149995803833, "eval_runtime": 80.0053, "eval_samples_per_second": 3.662, "eval_steps_per_second": 0.925, "epoch": 2.0372960372960374, "step": 220}
{"loss": 4.59392204284668, "grad_norm": 0.6526278257369995, "learning_rate": 6.529209621993127e-05, "epoch": 2.1305361305361306, "step": 230}
{"eval_loss": 1.1830979585647583, "eval_runtime": 79.9685, "eval_samples_per_second": 3.664, "eval_steps_per_second": 0.925, "epoch": 2.1305361305361306, "step": 230}
{"loss": 4.667733383178711, "grad_norm": 0.6509539484977722, "learning_rate": 5.84192439862543e-05, "epoch": 2.2237762237762237, "step": 240}
{"eval_loss": 1.180156946182251, "eval_runtime": 80.039, "eval_samples_per_second": 3.661, "eval_steps_per_second": 0.925, "epoch": 2.2237762237762237, "step": 240}
{"loss": 4.849304580688477, "grad_norm": 1.0381147861480713, "learning_rate": 5.1546391752577315e-05, "epoch": 2.317016317016317, "step": 250}
{"eval_loss": 1.1804591417312622, "eval_runtime": 80.002, "eval_samples_per_second": 3.662, "eval_steps_per_second": 0.925, "epoch": 2.317016317016317, "step": 250}
{"loss": 4.784143447875977, "grad_norm": 0.7981087565422058, "learning_rate": 4.467353951890035e-05, "epoch": 2.41025641025641, "step": 260}
{"eval_loss": 1.1810901165008545, "eval_runtime": 80.1085, "eval_samples_per_second": 3.658, "eval_steps_per_second": 0.924, "epoch": 2.41025641025641, "step": 260}
{"loss": 4.98390007019043, "grad_norm": 0.53365159034729, "learning_rate": 3.7800687285223366e-05, "epoch": 2.5034965034965033, "step": 270}
{"eval_loss": 1.1810084581375122, "eval_runtime": 80.5131, "eval_samples_per_second": 3.639, "eval_steps_per_second": 0.919, "epoch": 2.5034965034965033, "step": 270}
{"loss": 4.719857025146484, "grad_norm": 1.066688060760498, "learning_rate": 3.0927835051546395e-05, "epoch": 2.596736596736597, "step": 280}
{"eval_loss": 1.1793750524520874, "eval_runtime": 80.5916, "eval_samples_per_second": 3.636, "eval_steps_per_second": 0.918, "epoch": 2.596736596736597, "step": 280}
{"loss": 4.494116592407226, "grad_norm": 0.23337401449680328, "learning_rate": 2.4054982817869417e-05, "epoch": 2.6899766899766897, "step": 290}
{"eval_loss": 1.1794865131378174, "eval_runtime": 80.5946, "eval_samples_per_second": 3.635, "eval_steps_per_second": 0.918, "epoch": 2.6899766899766897, "step": 290}
{"loss": 4.849275970458985, "grad_norm": 0.5070627331733704, "learning_rate": 1.7182130584192442e-05, "epoch": 2.7832167832167833, "step": 300}
{"eval_loss": 1.1784485578536987, "eval_runtime": 80.3349, "eval_samples_per_second": 3.647, "eval_steps_per_second": 0.921, "epoch": 2.7832167832167833, "step": 300}
{"loss": 4.8898567199707035, "grad_norm": 0.20412975549697876, "learning_rate": 1.0309278350515464e-05, "epoch": 2.8764568764568765, "step": 310}
{"eval_loss": 1.177924394607544, "eval_runtime": 80.4998, "eval_samples_per_second": 3.64, "eval_steps_per_second": 0.919, "epoch": 2.8764568764568765, "step": 310}
{"loss": 4.506355667114258, "grad_norm": 0.28045350313186646, "learning_rate": 3.4364261168384886e-06, "epoch": 2.9696969696969697, "step": 320}
{"eval_loss": 1.1779462099075317, "eval_runtime": 80.303, "eval_samples_per_second": 3.649, "eval_steps_per_second": 0.922, "epoch": 2.9696969696969697, "step": 320}
{"eval_loss": 1.178052544593811, "eval_runtime": 80.2722, "eval_samples_per_second": 3.65, "eval_steps_per_second": 0.922, "epoch": 3.0, "step": 324}
{"train_runtime": 8703.158, "train_samples_per_second": 0.591, "train_steps_per_second": 0.037, "total_flos": 8.014858239770266e+17, "train_loss": 4.900091483269208, "epoch": 3.0, "step": 324}

Environment

Package	Version
torch	2.14.0
transformers	5.17.0
trl	1.13.0
datasets	5.0.1
accelerate	1.15.0
python-dotenv	1.2.3
peft	0.21.0
bitsandbytes	0.50.2
huggingface-hub	?
jinja2	?
torchvision	0.29.0
pillow	12.3.0

Intended use

This adapter is intended for research purposes only as part of the AIML589 project, which investigates value alignment of LLMs with New Zealand population distributions from the World Values Survey.

Out-of-scope

This model has not been safety-tuned for general-purpose deployment. It should not be used in production systems, for making decisions about people, or in contexts where reliability and safety are critical.

Limitations and biases

Fine-tuned on a single WVS wave (Wave 7) for New Zealand only.
The training data reflects the values of those who responded to the survey and may not represent all New Zealanders.
LoRA adapters are subject to the limitations and biases of the base model (Qwen/Qwen3.8-27B).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · peft

Нельзя запустить

Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.

Ревизия весов: 88fad31