language:
- fi
- en
license: apache-2.0
base_model: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored
tags: - finnish
- suomi
- nvfp4
- blackwell
- fp4
- compressed-tensors
- vllm
- reasoning
- uncensored
- multimodal
- vision
- mtp
pipeline_tag: text-generation
Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-NVFP4
1. Mitä Kataguru muutti? (Muutosyhteenveto)
| Kenttä | Kuvaus |
|---|---|
| Base model | kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored (Upstream: Qwen/Qwen3.8-27B & TWIN-TURBO-Fable-Cold-Fusion-709) |
| Katagurun muutos | Titan v2.0 -jatkokoulutus (Leonardo 20k SFT + Epistemic Anchor SFT), Kataguru Master Chat Template v1.0, Blackwell NVFP4 (W4A4/W4-FP8) -kvantisointi |
| Painojen koko (Levytila) | 27,7 Gt (8 safetensors-tiedostoa; FP4-painot + FP8-skaalat + BF16 MTP/visio) |
| VRAM-tarve (vLLM) | 14,6 Gt / GPU (TP=2, esim. 2x RTX 5090) tai ~29 Gt (1x 32GB GPU) |
| Mitä EI muutettu | 27B arkkitehtuuri, perusmorfologia, huolella valitut kvantisoimattomat kerrokset (lm_head, mtp, linear_attn, visual) |
| Ensisijainen käyttö | Huippunopea tuotantopäättely NVIDIA Blackwell -arkkitehtuurilla (RTX 50 -sarja, B200): maksimaalinen läpimeno ja minimaalinen latenssi |
| Suositeltu versio | NVFP4 (compressed-tensors), 2x RTX 5090 / TP=2 |
| Testattu laitteisto | 2x NVIDIA GeForce RTX 5090 32GB (vLLM v0.26, TP=2, CUDA 13.2) |
2. Empiirinen Vertailutaulukko: Titan 1.0 vs. Titan v2.0
| Testi / Osa-alue | Titan 1.0 (Syyskuu 2026) | Titan v2.0 (Uusi versio) | Muutos (Delta) & Huomiot |
|---|---|---|---|
| Hallusinaatioiden torjunta (20 ansaa) | 85,0 % (17/20) | 90,0 % (18/20) | +5,0 % (Torjui Mannerheim-Heisenbergin, Päätalo-algoritmin, sunnuntaipesulait, keksityt API:t) |
| FinnishBench-Kataguru-50 (AWQ / NVFP4) | 163,8 tok/s (AWQ) / 137,8 tok/s (NVFP4) | 140,1 tok/s (AWQ) / 114,0 tok/s (NVFP4) | Molemmat mallit saavuttavat huippuluokan läpimenon (MTP $K=2$ + FlashInfer XQA). Ero benchmarkissa selittyy vastauspituudella (Titan 1.0 keskim. 546/572 tok vs. v2.0 tiivis 366/297 tok). Natiivi BF16-nopeus oli Titan 1.0:lla 44,8 tok/s ja Titan v2.0:lla 50,7 tok/s (+13,2 %). |
| Koodaustesti (LFU Cache $O(1)$, C11, SQL) | 8,8 / 10 | 9,8 / 10 | Täysi $O(1)$ LFU Python-toteutus dummy-päillä, BST-bugikorjaus, optimaalinen window SQL |
| Vaativa suomi (Volter Kilpi, anglismien karsinta) | Hyvä | Erinomainen | 137 sanan katkeamaton saaristolaisvirke, piiloanglismien eliminointi |
| Päättelyarkkitehtuuri & Chat Template | Erillinen tturbo | Kataguru Master v1.0 | Yhdistetty {REASON:spoon/einstein/xhigh/low/none} oletuksena |
| Sensuroimattomuus & Aikuiskerronta | Täysin avoin | Täysin avoin | Fiktiivinen konteksti poistaa kieltäytymisen; ei moraalisaarnoja |
| Koulutuksen lopullinen loss | ~0,68 | 0,5879 | Leonardo 20k + Epistemic ankkurointi |
3. NVFP4 (NVIDIA Blackwell Native FP4) -arkkitehtuuri
- Natiivi 4-bittinen liukulukulaskenta: NVFP4 hyödyntää Blackwell-arkkitehtuurin (kuten RTX 50 -sarjan ja B200) uusia Tensor-ytimiä ja FP4-skaalauksia (
scale_dtype: torch.float8_e4m3fn). - Muistijalanjälki: Mallin painot mahtuvat alle 15 gigatavuun VRAM-muistia.
- Spekulatiivinen MTP-dekoodaus: MTP-pää säilytetty ja aktivoitu $K=2$ spekulatiiviseen generointiin vLLM:ssä.
4. Tuotantoasennus (vLLM)
vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-v2.0-Uncensored-NVFP4 \
--tensor-parallel-size 2 \
--quantization compressed-tensors \
--kv-cache-dtype fp8 \
--enable-chunked-prefill \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}' \
--limit-mm-per-prompt '{"image":99}' \
--max-model-len 32768 \
--max-num-batched-tokens 8192 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder \
--override-generation-config '{"temperature":0.6,"top_p":0.95}' \
--host 0.0.0.0 \
--port 8000