license: apache-2.0
base_model: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored
language:
- fi
- en
pipeline_tag: text-generation
tags: - qwen
- qwen3.5
- finnish
- lora
- finetuned
- merge
- nvfp4
- fp4
- compressed-tensors
- vllm
- uncensored
- mtp
- vision
- multimodal
- multi-token-prediction
Qwen3.8-27B-Finnish-Titan-Uncensored-NVFP4
Tämä on NVFP4 (compressed-tensors / nvfp4-pack-quantized) -versio mallista Qwen3.8-27B-Finnish-Titan-Uncensored. Malli on luotu kattavan suomenkielisen LoRA-hienosäädön (Low-Rank Adaptation) ja painosulautuksen (LoRA Merge) kautta vahvasta 27B-pohjamallista (DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored).
NVFP4-kvantisointi hyödyntää Nvidian uuden sukupolven 4-bittistä liukulukumuotoa (FP4-painot ja FP8 E4M3 -skaalaustensorit, group_size=16), joka tarjoaa äärimmäisen laskentatehon, minimaalisen muistijalanjäljen sekä korkean numeerisen tarkkuuden modernille laitteistolle (NVIDIA Blackwell / RTX 50 -sarja).
Muut julkaisuversiot:
- vLLM W4A16 AWQ: kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ
- GGUF-monikvantit (LM Studio / llama.cpp): kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF
🚀 Keskeiset arkkitehtuuriset ominaisuudet
NVFP4 Pakattu Liukulukukvantisointi (
nvfp4-pack-quantized):- 4-bittiset symmetriset liukulukupainot (
num_bits: 4,type: float). - FP8 E4M3 -skaalaus (
torch.float8_e4m3fn) tiheällägroup_size=16-ryhmityksellä. - Herkät kerrokset (sanasto,
lm_head, visuaaliset projektiot ja MTP-spekulaatiokerrokset) on suojattu ja säilytetty täydessä tarkkuudessa.
- 4-bittiset symmetriset liukulukupainot (
262k natiivi konteksti-ikkuna:
- Täysi tuki jopa 262 144 tokenin kontekstille vLLM:ssä (
--max-model-len 262144).
- Täysi tuki jopa 262 144 tokenin kontekstille vLLM:ssä (
Mukautettu suomenkielinen Chat Template & Autonominen Päättely:
- Autonominen päättelyn syvyys (oletus vähintään medium): Malli arvioi tehtävän vaativuuden itse ja skaalaa päättelyä:
- Luovassa ideoinnissa ja aivoriihessä soveltaa autonomisesti Einstein/DAU-menetelmää (10 Sternberg-perspektiiviä).
- Syvätutkimuksessa, fysiologisissa mekanismeissa ja vaativissa analyyseissä soveltaa autonomisesti Spoon Deep Research -protokollaa.
- Novellit, tarinat ja asiasisällöt saavat aina vähintään keskitasoisen (medium) harkinnan.
- No-think (ajattelun ohitus) on rajattu ainoastaan lyhyisiin rutiinitievehdyksiin tai käyttäjän eksplisiittiseen pyyntöön.
- Ohjattavat tasot kehotteen alussa (valinnainen pakotus):
{REASON:spoon}: Syvätutkimus (kriittinen premissien ja faktojen validointi).{REASON:einstein}: Luova aivoriihi (10 näkökulmaa, radikaalit ideat ja IdeaArray).{REASON:xhigh}: Erittäin korkea päättelytaso.{REASON:medium}: Tasapainoinen analyysi ja jäsennelty vastaus.{REASON:low}: Lyhyt ja ytimekäs ajattelu.{REASON:off}: Ajattelu kokonaan pois päältä (välitön vastaus).
- Autonominen päättelyn syvyys (oletus vähintään medium): Malli arvioi tehtävän vaativuuden itse ja skaalaa päättelyä:
Täysin sensuroimaton:
- Vapaa ja estoton käsittely kaikille aihealueille (filosofia, lääketiede, aikuiskirjallisuus, kaunokirjallisuus) ilman keinotekoisia moralisointeja tai saarnoja.
🛠️ vLLM Käyttöönotto
Käynnistä malli vLLM:ssä (v0.29.0 tai uudempi):
vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-NVFP4 \
--quantization compressed-tensors \
--tensor-parallel-size 2 \
--max-model-len 65536 \
--gpu-memory-utilization 0.92 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--host 0.0.0.0 --port 8000
📜 Lisenssi
Malli noudattaa Apache 2.0 -lisenssiehtoja.