license: apache-2.0
base_model: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored
language:
- fi
- en
pipeline_tag: text-generation
tags: - qwen
- qwen3.5
- finnish
- lora
- finetuned
- merge
- awq
- w4a16
- compressed-tensors
- vllm
- uncensored
- mtp
- vision
- multimodal
- multi-token-prediction
Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ
Tämä on W4A16 AWQ (compressed-tensors) -versio mallista Qwen3.8-27B-Finnish-Titan-Uncensored, joka on luotu kattavan suomenkielisen LoRA-hienosäädön (Low-Rank Adaptation) ja painosulautuksen (LoRA Merge) kautta pohjamallista DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored.
Malliin on koulutettu ja sulautettu suomen kielen syvällinen kielioppi, laaja morfologia, tieteellinen asiasanasto, luova kerronta sekä sensuroimaton ilmaisu. Kvantisointivaiheessa on käytetty erillistä rikasta suomenkielistä kalibrointiaineistoa (256 monikierrosnäytettä: kaunokirjallisuus, tiede, IT/Linux, filosofia ja aikuiskerronta), mikä takaa LoRA-koulutetun suomen kielen täyden laadun säilymisen.
Kvantisointi on suoritettu llm-compressor -työkalulla suoraan BF16-lähdepainoista.
Keskeiset ominaisuudet & Parannukset
- 262k natiivi konteksti-ikkuna:
- Täysi tuki 262 144 tokenin kontekstille vLLM:ssä (
--max-model-len 262144).
- Täysi tuki 262 144 tokenin kontekstille vLLM:ssä (
- Suomen kielen ja sanaston kalibrointi:
- Korjaa puhtaan englanninkielisen kvantisoinnin aiheuttaman laadun heikkenemisen suomen kielessä.
- Luontevat sijapäätteet, oikea morfologia ja laaja suomalainen ilmaisusanasto ilman kömpelöitä anglismeja.
- Natiivi MTP (Multi-Token Prediction) -spekulaatiotuki:
- Mallin MTP-kerrokset on säilytetty BF16-tarkkuudessa.
- vLLM:ssä
--speculative-config '{"method":"mtp","num_speculative_tokens":2}'tuottaa jopa 126 tokenia sekunnissa (TP=2) ja pudottaa ensimmäisen tokenin viiveen (TTFT) ~0.27 sekuntiin.
- Mukautettu suomenkielinen Chat Template ja dynaamiset päättelytasot (
{REASON:}):- Autonominen päättelyn syvyys: Malli tunnistaa tehtävän vaativuuden itse:
- Luovassa ideoinnissa soveltaa itsenäisesti Einstein/DAU-menetelmää.
- Syvätutkimuksessa ja pulmissa soveltaa Spoon-protokollaa.
- Faktoissa, rutiineissa ja esteettömässä erotiikassa vastaa suoraan.
- Ohjattavat tasot kehotteen alussa:
{REASON:spoon}: Syvätutkimus (7-vaiheinen moniasiantuntijapaneeli).{REASON:einstein}: Luova aivoriihi (10 näkökulmaa, radikaalien ideoiden jalostus ja IdeaArray).{REASON:xhigh}: Syvällinen analyysi ja oletusten validointi.{REASON:medium}: Kohtuullinen pohdinta ja selkeä jäsennelty vastaus.{REASON:low}: Lyhyt ja ytimekäs ajattelu.{REASON:off}: Välitön vastaus ilman ajattelua.
- Autonominen päättelyn syvyys: Malli tunnistaa tehtävän vaativuuden itse:
- Täysin sensuroimaton:
- Ei vastuuvapauslausekkeita, ei saarnoja, ei metakommentteja tarinoiden perässä.
Suorituskyky ja nopeus
Testattu järjestelmässä: 2x RTX 5090 (TP=2), FP8 KV-cache, vLLM:
| Tehtävätyyppi | Nopeus (tok/s) | Ensimmäisen tokenin viive (TTFT) |
|---|---|---|
| Lyhyt faktakysely | - | 0.27 s |
| Keskipitkä luova teksti | 88–110 tok/s | 0.89 s |
| Pitkä asiaproosa / koodi | 126.6 tok/s | 2.97 s (375 tok) |
Käyttö vLLM:n kanssa
Täysi tuotantoresepti vLLM-palvelimelle:
vllm serve kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ \
--tensor-parallel-size 2 \
--gpu-memory-utilization 0.92 \
--max-model-len 262144 \
--kv-cache-dtype fp8 \
--enable-chunked-prefill \
--limit-mm-per-prompt '{"image":99}' \
--max-num-batched-tokens 8192 \
--max-num-seqs 16 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--override-generation-config '{"temperature":0.6,"top_p":0.95}' \
--speculative-config '{"method":"mtp","num_speculative_tokens":2}'
Päättelyesimerkki (Python / OpenAI API)
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8003/v1", api_key="local")
# 1. Nopea suora vastaus
response = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ",
messages=[{"role": "user", "content": "Mikä on Suomen pääkaupunki?"}]
)
print(response.choices[0].message.content)
# 2. Syvätutkimusmoodi (Spoon)
response_research = client.chat.completions.create(
model="kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ",
messages=[{"role": "user", "content": "{REASON:spoon} Selitä kvanttitietokoneiden kolme suurinta teknistä haastetta."}]
)
print(response_research.choices[0].message.content)
GGUF / LM Studio -versio
Jos haluat ajaa mallia paikallisesti LM Studiossa tai llama.cpp:llä, tutustu virallisiin GGUF-kvantteihin:
👉 kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF