Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF
Tämä repositorio sisältää viralliset GGUF-monikvantit, multimodaalisen visioprojektorin (mmproj) sekä MTP-spekulatiivisen vedosmallin mallista Qwen3.8-27B-Finnish-Titan-Uncensored.
Malli on syntynyt kattavan suomenkielisen LoRA-hienosäädön (Low-Rank Adaptation) ja painofuusioinnin (LoRA Merge) tuloksena vahvasta 27B-pohjamallista (DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored).
Kvantisoinnissa on käytetty erillistä 256 näytteen suomenkielistä monialakalibrointia, mikä takaa LoRA-koulutetun suomen kielen vivahteiden ja sijamuotojen täyden laadun säilymisen kaikissa GGUF-kvanteissa.
Muut julkaisuversiot:
- vLLM W4A16 AWQ: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ
- NVFP4 (Blackwell / RTX 50 -sarja): kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-NVFP4
Saatavilla olevat kvantit ja tiedostot
1. Suositellut kvantit 16 GB VRAM / RAM -laitteille
(Esim. RTX 4080 16GB, RTX 5060 Ti 16GB, kannettavat 16GB GPU:t, Apple Silicon Mac 16GB)
| Tiedosto | Koko | BPW | Kuvaus & Muistin riittävyys |
|---|---|---|---|
Q3_K_S | ~11.4 GB | 3.59 | 16 GB:n kultainen standardi! Jättää jopa ~4.6 GB vapaata VRAMia, mahdollistaen pitkät 16k–32k kontekstit ilman muistin loppumista. |
Q2_K | ~10.1 GB | 3.18 | Ultrakevyt: Jättää lähes 6 GB muistia vapaaksi maksimaalista kontekstia tai useampia rinnakkaisia pyyntöjä varten. |
Q3_K_M | ~13.2 GB | 3.75 | Tasapainoinen 3-bittinen kvantti, jättää ~2.8 GB tilaa KV-cachelle. |
IQ4_XS | ~14.35 GB | 4.51 | Korkein 4-bittinen tarkkuus 16 GB muistiin. Toimii 16 GB VRAMissa tiiviillä KV-cachella (FP8/Q8). |
2. Kvantit suuremmille laitteille (24 GB / 32 GB+ VRAM tai 32–64 GB RAM)
(Esim. RTX 3090, RTX 4090, RTX 5090, Apple Silicon Mac 32GB/64GB)
| Tiedosto | Koko | BPW | Kuvaus |
|---|---|---|---|
Q4_K_M | ~16.6 GB | 4.87 | Kultainen oletussuositus (24 GB VRAM): Paras tasapaino koon, nopeuden ja päättelytarkkuuden välillä. |
Q5_K_M | ~19.7 GB | 5.69 | Korkea laatu: Lähes täysi BF16-tarkkuus minimaalisella häviöllä. |
Q6_K | ~22.4 GB | 6.56 | Huipputarkkuus (Near-lossless): Vaativiin 32 GB+ VRAM / 64 GB RAM -ympäristöihin. |
Q8_0 | ~29.8 GB | 8.50 | Maksimitarkkuus (1:1 BF16): Täysi 8-bittinen tarkkuus referenssi- ja tutkimuskäyttöön. |
3. Oheistiedostot (Vision & MTP)
mmproj-Qwen3.8-27B-Finnish-Titan-Uncensored-f16.gguf(~889 MB):- Multimodaalinen visioprojektori LM Studioon ja llama.cpp:lle. Lataa tämä tiedosto mallin rinnalle kuvien ja visuaalisen aineiston analysointia varten.
Qwen3.8-27B-Finnish-Titan-Uncensored-MTP-draft.gguf(~5.9 GB):- Erillinen Multi-Token Prediction (MTP) -vedosmalli llama.cpp:n spekulatiiviseen dekoodaukseen (
--model-draft).
- Erillinen Multi-Token Prediction (MTP) -vedosmalli llama.cpp:n spekulatiiviseen dekoodaukseen (
Koulutus-, LoRA-fuusio- ja Kalibrointitiedot
-
LoRA-hienosäätö ja Painosulautus (LoRA Merge):
- Pohjamalli: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored.
- Malliin on koulutettu ja sulautettu suomen kielen syvällinen kielioppi, rikas sanasto, tieteellinen ja tekninen asiatyyli, luova kerronta sekä sensuroimaton ilmaisuvapaus.
- LoRA-adapterit on sulautettu suoraan BF16-peruspainoihin (Cold-Fusion Merge), jolloin malli toimii puhtaasti ilman erillistä adapterikuormaa.
-
Rikas suomenkielinen kalibrointiaineisto:
- Kvantisointia ja aktivaatiojakaumien säilyttämistä varten malli on kalibroitu huolellisesti kuratoidulla 256 monikierrosnäytteen suomalaisella moniala-aineistolla:
- 30 % Kaunokirjallisuus, luova proosa ja vivahteikas kerronta
- 25 % Tiede, neurobiologia ja lääketiede
- 25 % IT, Linux-arkkitehtuuri ja ohjelmistokehitys
- 20 % Filosofia, yhteiskunta sekä estoton aikuiskuvaus
- Kalibrointi takaa, että suomen kielen monimutkainen morfologia, sijapäätteet ja harvinainen erikoissanasto säilyvät kristallinkirkkaina myös kompakteissa 16 GB -kvanteissa (
Q3_K_S,IQ4_XS,Q2_K).
- Kvantisointia ja aktivaatiojakaumien säilyttämistä varten malli on kalibroitu huolellisesti kuratoidulla 256 monikierrosnäytteen suomalaisella moniala-aineistolla:
⚡ Päivitys (23.9.2026): Kataguru Master Chat Template v1.0
Mallin chat_template.jinja on päivitetty viralliseen Kataguru Master Chat Template -standardiin, joka yhdistää syvällisen päättelyn, poikkeuksellisen episteemisen kurinalaisuuden ja jämäkän asiantuntijaluonteen:
-
Jämäkkä Luonne & Episteeminen Kurinalaisuus (Anti-Sycophancy / Avulias Aatu -kielto):
- Ei tyhjää lätinää tai mielistelyä: Täytesanat ("Totta kai!", "Autan mielelläni!", "Hieno kysymys!") on karsittu pois. Vastaus alkaa suoraan asiasisällöstä ensimmäisestä sanasta lähtien ilman esipuheita tai pahoitteluja.
- Premissien ja virheiden suora oikaisu: Jos käyttäjän kysymyksen oletus, historiallinen fakta tai koodi on virheellinen, malli ei myötäile virhettä (sycophancy), vaan oikaisee sen heti alussa faktoihin nojaten.
- Pysyvyys haastettaessa: Malli ei muuta kantaansa tai pyytele anteeksi vain siksi, että käyttäjä kyseenalaistaa sen ilman uutta todennettua näyttöä.
- Episteeminen rehellisyys: Tuntematon todetaan rehellisesti ("Tätä ei tiedetä" / "Tälle ei ole empiiristä näyttöä"), eikä hallusinoida vastauksia roolin säilyttämiseksi.
-
Mitattu Hallusinaatiovastustuskyky: 85.0 % (17/20):
- 20 vaativan ansa- ja konfabulaatiokysymyksen empiirisessä benchmarkissa (keksityt tieteelliset käsitteet, olemattomat lait, anakronismit ja keksityt API-rajapinnat) malli torjui virhepremissit 85,0 % tarkkuudella.
-
Autonominen Päättely (Spoon & Einstein Filosofia):
- Malli skaalaa sisäisen päättelyn syvyyden (
<think>...</think>) automaattisesti aiheen vaativuuden mukaan:- Spoon Deep Research: Tieteellinen tutkimus, lääketiede ja faktatarkistus ilman virtuaalipaneelien vuotamista käyttäjälle.
- Einstein-menetelmä: Luova aivoriihi ja moninäkökulmainen konseptointi.
- Sensuroimattomuus: 100 % estoton, suorasanainen ja elävä kerronta kaikille laillisille teemoille ilman moralisointia tai vastuuvapauslausekkeita (disclaimers).
- Malli skaalaa sisäisen päättelyn syvyyden (
Keskeiset ominaisuudet
- Laaja 262k konteksti-ikkuna:
- Malli tukee natiivisti jopa 262 144 tokenin kontekstia (
max_position_embeddings: 262144).
- Malli tukee natiivisti jopa 262 144 tokenin kontekstia (
- Monipuolinen ja dynaaminen päättely (
<think>...</think>):- Autonominen päättelyn syvyys (oletus vähintään medium): Malli arvioi tehtävän vaativuuden itse ja skaalaa päättelyä:
- Luovassa ideoinnissa ja aivoriihessä soveltaa autonomisesti Einstein/DAU-menetelmää (10 Sternberg-perspektiiviä).
- Syvätutkimuksessa, fysiologisissa mekanismeissa ja vaativissa analyyseissä soveltaa autonomisesti Spoon Deep Research -protokollaa.
- Novellit, tarinat ja asiasisällöt saavat aina vähintään keskitasoisen (medium) harkinnan.
- No-think (ajattelun ohitus) on rajattu ainoastaan lyhyisiin rutiinitievehdyksiin tai käyttäjän eksplisiittiseen pyyntöön.
- Autonominen päättelyn syvyys (oletus vähintään medium): Malli arvioi tehtävän vaativuuden itse ja skaalaa päättelyä:
- Ohjattavat päättelytasot (
{REASON:}) (valinnainen pakotus): Voit ohjata ajattelun syvyyttä lisäämällä viestin alkuun:{REASON:spoon}: Syvätutkimus (kriittinen premissien ja faktojen validointi).{REASON:einstein}: Luova aivoriihi (10 näkökulmaa, radikaalit ideat ja IdeaArray).{REASON:xhigh}: Erittäin korkea päättelytaso.{REASON:medium}: Tasapainoinen analyysi ja jäsennelty vastaus.{REASON:low}: Lyhyt ja ytimekäs ajattelu.{REASON:off}: Ajattelu kokonaan pois päältä (välitön vastaus).
- Sensuroimaton ilmaisu ja rikas suomen kieli:
- Ei moralisointia, ei saarnoja, ei teeskenneltyjä vastuuvapauslausekkeita.
- Luonteva suomen kielen kielioppi, oikeat sijapäätteet ja täsmällinen erikoissanasto.
Käyttöohjeet
LM Studio
- Etsi ja lataa malli nimellä
kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF. - Valitse laitteellesi sopiva kvantti (esim. 16 GB laitteille
Q3_K_StaiIQ4_XS, 24 GB laitteilleQ4_K_M). - Visiotukea varten varmista, että
mmproj-tiedosto on valittuna projektoriksi.
llama.cpp (Komentorivi & Palvelin)
Peruskäynnistys:
./llama-server \
-m Qwen3.8-27B-Finnish-Titan-Uncensored-Q4_K_M.gguf \
--mmproj mmproj-Qwen3.8-27B-Finnish-Titan-Uncensored-f16.gguf \
-ngl 99 \
-c 32768 \
--port 8080
MTP-spekulatiivinen dekoodaus (nopeampi generointi):
./llama-cli \
-m Qwen3.8-27B-Finnish-Titan-Uncensored-Q4_K_M.gguf \
-md Qwen3.8-27B-Finnish-Titan-Uncensored-MTP-draft.gguf \
-ngl 99 \
-c 8192 \
-p "Hei! Kerro minulle suomalaisen saunakulttuurin historiasta."
vLLM-versio
Jos käytät vLLM-tuotantopalvelinta, tutustu rinnakkaiseen versioon: 👉 kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ