language:
- fi
- en
license: apache-2.0
base_model: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored
tags: - finnish
- suomi
- awq
- w4a16
- compressed-tensors
- vllm
- reasoning
- uncensored
- multimodal
- vision
- mtp
pipeline_tag: text-generation
Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ
1. Mitä Kataguru muutti? (Muutosyhteenveto)
| Kenttä | Kuvaus |
|---|---|
| Base model | kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored (Upstream: Qwen/Qwen3.8-27B & TWIN-TURBO-Fable-Cold-Fusion-709) |
| Katagurun muutos | Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, W4A16 AWQ -kvantisointi (suomenkielinen moniala-kalibrointi 256 näytteellä) |
| Painojen koko (Levytila) | 19,5 Gt (8 safetensors-tiedostoa; säästö -63,9 % vs. BF16 54 Gt) |
| VRAM-tarve (vLLM) | 9,79 Gt / GPU (TP=2) tai ~19,5 Gt (1x 24GB/32GB GPU, esim. RTX 3090/4090/5090) |
| Mitä EI muutettu | 27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (lm_head, mtp, visual) |
| Ensisijainen käyttö | Tuotantotason vLLM-päättely: autonominen päättely, faktantarkistus, ohjelmistokehitys ja suomenkielinen esteetön tekstituotanto |
| Suositeltu versio | W4A16 AWQ (compressed-tensors), 2x RTX 5090 / TP=2 tai 1x A100/H100 80GB |
| Testattu laitteisto | 2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2) |
2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0
Kaikki mittaukset on suoritettu samoilla laitteistoilla ja vakioiduilla testipatteristoilla:
| Testi / Osa-alue | Titan 1.0 (Syyskuu 2026) | Titan v2.0 (Uusi versio) | Muutos (Delta) & Huomiot |
|---|---|---|---|
| Hallusinaatioiden torjunta (20 ansaa) | 85,0 % (17/20) | 90,0 % (18/20) | +5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t) |
| FinnishBench-Kataguru-50 (AWQ W4A16) | 163,8 tok/s (12 026 tok / 73,4 s) | 140,1 tok/s (8 056 tok / 57,5 s) | Molemmat mallit yltävät ~140–165 tok/s huippuluokkaan (MTP $K=2$ + FlashInfer XQA). Ero benchmarkissa selittyy vastauspituudella (Titan 1.0 keskim. 546 tok/vastaus vs. v2.0 tiiviimpi 366 tok/vastaus; decode throughput kasvaa pidemmillä vastauksilla). Natiivi BF16-nopeus oli Titan 1.0:lla 44,8 tok/s ja Titan v2.0:lla 50,7 tok/s (+13,2 %). |
| Koodaustesti (LFU Cache $O(1)$, C11, SQL) | 8,8 / 10 | 9,8 / 10 | Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL |
| Vaativa suomi (Volter Kilpi, anglismien karsinta) | Hyvä | Erinomainen | 137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi |
| Päättelyarkkitehtuuri & Chat Template | Erillinen tturbo | Kataguru Master v1.0 | Yhdistetty {REASON:spoon/einstein/xhigh/low/none} oletuksena |
| Sensuroimattomuus & Aikuiskerronta | Täysin avoin | Täysin avoin | Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja |
| Koulutuksen lopullinen loss | ~0,68 | 0,5879 | Leonardo 20k + Epistemic ankkurointi |
3. Keskeiset Ominaisuudet ja Arkkitehtuuri
- Kataguru Master Chat Template v1.0: Malli säätää päättelynsä syvyyttä joko automaattisesti tai käyttäjän eksplisiittisillä ohjaustageilla:
{REASON:spoon}: Syvätutkimus ja tieteellinen analyysi (7 vaihetta, hypoteesit, moninäkökulmainen paneeli).{REASON:einstein}: Luova ja lateraalinen aivoriihi (10 näkökulmaa, radikaalit analogiat).{REASON:xhigh}: Maksimaalinen perusteellisuus ilman oikopolkuja.{REASON:low}: Nopea ja suora vastaus keveisiin rutiinitehtäviin.{REASON:none}: Päättelyohitus suoriin faktavastauksiin ja käännöksiin.
- Multimodaalisuus & Vision: Täysi visiotorni (
model.visual.*) ja visioprojektori säilytetty natiivissa BF16-tarkkuudessa. - MTP (Multi-Token Prediction) Spekulatiivinen Dekoodaus: Malliin on leivottu MTP-pää, joka mahdollistaa $K=2$ spekulatiivisen dekoodauksen vLLM:ssä tuottaen jopa 25–35 % korkeamman generointinopeuden.
- Episteeminen Rehellisyys: Malli kieltäytyy luomasta perättömiä väitteitä, keksittyjä lakeja tai olemattomia funktioita. Fiktiivistä tai taiteellista tekstiä pyydettäessä hahmojen tai tyylin nimeäminen ohjaa mallin esteettömään kerrontaan.
4. Tuotantoasennus (vLLM)
Käynnistyskomento (2x RTX 5090 / TP=2):
vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ \
--tensor-parallel-size 2 \
--quantization compressed-tensors \
--kv-cache-dtype fp8 \
--enable-chunked-prefill \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--limit-mm-per-prompt '{"image":99}' \
--max-model-len 262144 \
--max-num-batched-tokens 8192 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--override-generation-config '{"temperature":0.6,"top_p":0.95}' \
--host 0.0.0.0 \
--port 8000
Esimerkki: OpenAI-yhteensopiva API-kutsu
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="none"
)
response = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-W4A16-AWQ",
messages=[
{"role": "system", "content": "Olet Kataguru Titan v2.0, analyyttinen ja tarkka tekoäly."},
{"role": "user", "content": "{REASON:spoon} Analysoi kvanttitietokoneiden dekoherenssin mekanismit suprajohtavissa kubiteissa."}
],
temperature=0.6,
max_tokens=4096
)
print(response.choices[0].message.content)
5. Rajoitukset ja Rehellinen Arvio
- Episteemisen filtterin laukeaminen reaalimaailman valvontakysymyksissä: Jos mallilta kysytään suoraan "Mitä tapahtuu suljetussa makuuhuoneessa?", episteeminen suodatin kieltäytyy vastaamasta reaaliaikaisen mittausdatan puuttumisen vuoksi. Kaunokirjallista aikuiserotiikkaa pyydettäessä kehotteessa tulee eksplisiittisesti nimetä kuvitteelliset henkilöhahmot ja tyyli (esim. "Kirjoita Bukowski-tyylinen tarina...").
- Kieliopillinen ääritarkkuus: Erittäin harvinaisissa moniosaisissa abessiivimuodoissa esiintyy satunnaisesti taivutuslipsahduksia genetiiviin ("näiden kolmen talotta" vs. "näittä kolmetta talotta").