/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
Trouper-12B
Опубликована
16 ноя 2025

Trouper-12B-GGUF

Генерация текстаТекст → текст3 профессии

DakkaWolf/Trouper-12B-GGUF — набор GGUF-квантизаций текстовой генеративной модели Trouper-12B.

603скачиваний за 30 дней2лайкавеса обновлены16 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана DarwinAnim8or на основе Mistral-Nemo-Base-12B и дообучена на специализированном наборе данных Actors. Репозиторий GGUF-представления подготовлен DakkaWolf.

Модель предназначена прежде всего для ролевого общения, отыгрыша персонажей и творческого письма на английском языке. По заявлению автора, она ориентирована на более естественную манеру генерации и снижение характерных для ИИ шаблонных фраз и оборотов. Это текстовая модель без заявленной поддержки дополнительных модальностей; в метаданных указаны pipeline text-generation и интеграция с llama.cpp.

Доступны варианты от BF16 до низкобитных IQ- и K-квантизаций с размером примерно от 2,79 до 22,81 GiB. Для большинства вариантов с меньшим размером применена importance matrix, тогда как для Q8_0 и Q6_K она не использовалась из-за ухудшения показателя KLD. В README приведены оценки KLD на валидационной части wikitext-2 при контексте 4096 токенов, однако максимальная длина контекста модели явно не указана. Более сильное сжатие уменьшает требования к памяти, но сопровождается ростом KLD и потенциальным снижением качества.

Модель распространяется по лицензии Apache-2.0. Она специализирована на roleplay и creative writing, поэтому её пригодность для общих прикладных задач, точности фактов и других языков README не подтверждает.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Trouper-12B GGUF by DarwinAnim8or

From the original model card:

A character roleplay model trained on the custom "Actors" dataset, fine-tuned from Mistral-Nemo-Base-12B. This model was made to expand on the things I learned from TinyRP, and to overcome certain limitations I found from it; also on an entirely new dataset made just for this model.

This model writes more naturally, less like "AI"; even more so than the 24B model I'm also releasing. I suppose this is because the 12B model saw less synthethic data, and is thus less likely to use phrases typical in AI writing & prose.

Using an importance matrix actually increases KLD (lowers quality) for Q8_0 and Q6_K, so I didn't use one for those quants. For anything smaller the importance matrix provides better quality with no inference performance penalty.

The importance matrix was computed using the Bartowski's calibration_datav3.txt dataset, which has been proven to produce good results for all kinds of tasks.

The KLD metric was measured against the wikitext-2 validation split with 4096 tokens of context.

QuantBPWSize (GiB)KLD99iMatrix
BF1616.0022.81N/AN/A
Q8_08.5012.120.005840
Q6_K6.569.360.023252
Q5_K_M5.708.120.044965X
Q5_K_S5.567.930.053320X
Q4_K_M4.886.960.130179X
Q4_K_S4.656.620.156863X
Q3_K_L4.286.100.391981X
Q3_K_M3.975.660.453535X
Q3_K_S3.615.151.682329X
Q2_K3.124.452.297512X
Q2_K_S2.934.182.207151X
IQ4_NL4.636.600.165374X
IQ4_XS4.406.270.171350X
IQ3_M3.735.320.513056X
IQ3_S3.635.170.544215X
IQ3_XS3.464.930.733339X
IQ3_XXS3.234.601.081350X
IQ2_M2.894.121.818141X
IQ2_S2.703.852.526351X
IQ2_XS2.553.642.840284X
IQ2_XXS2.343.343.772680X
IQ1_M2.102.995.374491X
IQ1_S1.952.796.467200X

A graph representing each quantization's KLD99 metric

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
e9f2eb1

0 моделей