license: apache-2.0
base_model: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored
language:
- fi
- en
pipeline_tag: text-generation
tags: - qwen
- qwen3.5
- finnish
- lora
- finetuned
- merge
- gguf
- llama.cpp
- lm-studio
- uncensored
- mtp
- vision
- multimodal
- multi-token-prediction
Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF
Tämä repositorio sisältää viralliset GGUF-monikvantit, multimodaalisen visioprojektorin (mmproj) sekä MTP-spekulatiivisen vedosmallin mallista Qwen3.8-27B-Finnish-Titan-Uncensored.
Malli on syntynyt kattavan suomenkielisen LoRA-hienosäädön (Low-Rank Adaptation) ja painofuusioinnin (LoRA Merge) tuloksena vahvasta 27B-pohjamallista (DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored).
Kvantisoinnissa on käytetty erillistä 256 näytteen suomenkielistä monialakalibrointia, mikä takaa LoRA-koulutetun suomen kielen vivahteiden ja sijamuotojen täyden laadun säilymisen kaikissa GGUF-kvanteissa.
Saatavilla olevat kvantit ja tiedostot
1. Suositellut kvantit 16 GB VRAM / RAM -laitteille
(Esim. RTX 4080 16GB, RTX 5060 Ti 16GB, kannettavat 16GB GPU:t, Apple Silicon Mac 16GB)
| Tiedosto | Koko | BPW | Kuvaus & Muistin riittävyys |
|---|---|---|---|
Q3_K_S |
~11.4 GB | 3.59 | 16 GB:n kultainen standardi! Jättää jopa ~4.6 GB vapaata VRAMia, mahdollistaen pitkät 16k–32k kontekstit ilman muistin loppumista. |
Q2_K |
~10.1 GB | 3.18 | Ultrakevyt: Jättää lähes 6 GB muistia vapaaksi maksimaalista kontekstia tai useampia rinnakkaisia pyyntöjä varten. |
Q3_K_M |
~13.2 GB | 3.75 | Tasapainoinen 3-bittinen kvantti, jättää ~2.8 GB tilaa KV-cachelle. |
IQ4_XS |
~14.35 GB | 4.51 | Korkein 4-bittinen tarkkuus 16 GB muistiin. Toimii 16 GB VRAMissa tiiviillä KV-cachella (FP8/Q8). |
2. Kvantit suuremmille laitteille (24 GB / 32 GB+ VRAM tai 32–64 GB RAM)
(Esim. RTX 3090, RTX 4090, RTX 5090, Apple Silicon Mac 32GB/64GB)
| Tiedosto | Koko | BPW | Kuvaus |
|---|---|---|---|
Q4_K_M |
~16.6 GB | 4.87 | Kultainen oletussuositus (24 GB VRAM): Paras tasapaino koon, nopeuden ja päättelytarkkuuden välillä. |
Q5_K_M |
~19.7 GB | 5.69 | Korkea laatu: Lähes täysi BF16-tarkkuus minimaalisella häviöllä. |
Q6_K |
~22.4 GB | 6.56 | Huipputarkkuus (Near-lossless): Vaativiin 32 GB+ VRAM / 64 GB RAM -ympäristöihin. |
Q8_0 |
~29.8 GB | 8.50 | Maksimitarkkuus (1:1 BF16): Täysi 8-bittinen tarkkuus referenssi- ja tutkimuskäyttöön. |
3. Oheistiedostot (Vision & MTP)
mmproj-Qwen3.8-27B-Finnish-Titan-Uncensored-f16.gguf(~889 MB):- Multimodaalinen visioprojektori LM Studioon ja llama.cpp:lle. Lataa tämä tiedosto mallin rinnalle kuvien ja visuaalisen aineiston analysointia varten.
Qwen3.8-27B-Finnish-Titan-Uncensored-MTP-draft.gguf(~5.9 GB):- Erillinen Multi-Token Prediction (MTP) -vedosmalli llama.cpp:n spekulatiiviseen dekoodaukseen (
--model-draft).
- Erillinen Multi-Token Prediction (MTP) -vedosmalli llama.cpp:n spekulatiiviseen dekoodaukseen (
Koulutus-, LoRA-fuusio- ja Kalibrointitiedot
LoRA-hienosäätö ja Painosulautus (LoRA Merge):
- Pohjamalli: DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-ULTRA-HERETIC-Uncensored.
- Malliin on koulutettu ja sulautettu suomen kielen syvällinen kielioppi, rikas sanasto, tieteellinen ja tekninen asiatyyli, luova kerronta sekä sensuroimaton ilmaisuvapaus.
- LoRA-adapterit on sulautettu suoraan BF16-peruspainoihin (Cold-Fusion Merge), jolloin malli toimii puhtaasti ilman erillistä adapterikuormaa.
Rikas suomenkielinen kalibrointiaineisto:
- Kvantisointia ja aktivaatiojakaumien säilyttämistä varten malli on kalibroitu huolellisesti kuratoidulla 256 monikierrosnäytteen suomalaisella moniala-aineistolla:
- 30 % Kaunokirjallisuus, luova proosa ja vivahteikas kerronta
- 25 % Tiede, neurobiologia ja lääketiede
- 25 % IT, Linux-arkkitehtuuri ja ohjelmistokehitys
- 20 % Filosofia, yhteiskunta sekä estoton aikuiskuvaus
- Kalibrointi takaa, että suomen kielen monimutkainen morfologia, sijapäätteet ja harvinainen erikoissanasto säilyvät kristallinkirkkaina myös kompakteissa 16 GB -kvanteissa (
Q3_K_S,IQ4_XS,Q2_K).
- Kvantisointia ja aktivaatiojakaumien säilyttämistä varten malli on kalibroitu huolellisesti kuratoidulla 256 monikierrosnäytteen suomalaisella moniala-aineistolla:
Keskeiset ominaisuudet
- Laaja 262k konteksti-ikkuna:
- Malli tukee natiivisti jopa 262 144 tokenin kontekstia (
max_position_embeddings: 262144).
- Malli tukee natiivisti jopa 262 144 tokenin kontekstia (
- Monipuolinen ja dynaaminen päättely (
<think>...</think>):- Malli arvioi tehtävän vaativuuden automaattisesti:
- Luovissa ideoinneissa soveltaa automaattisesti Einstein/DAU-aivoriihtä.
- Syvällisessä tutkimuksessa ja pulmissa soveltaa monivaiheista Spoon-protokollaa.
- Yksinkertaisissa faktoissa, arkikeskustelussa ja erotiikassa vastaa suoraan ilman turhaa viivettä.
- Malli arvioi tehtävän vaativuuden automaattisesti:
- Ohjattavat päättelytasot (
{REASON:}):
Voit ohjata ajattelun syvyyttä lisäämällä viestin alkuun:{REASON:spoon}: Syvätutkimus (7-vaiheinen asiantuntijapaneeli ja hypoteesien validointi).{REASON:einstein}: Luova aivoriihi (10 näkökulmaa, radikaalit ideat ja IdeaArray).{REASON:xhigh}: Erittäin korkea päättelytaso.{REASON:medium}: Tasapainoinen analyysi ja jäsennelty vastaus.{REASON:low}: Lyhyt ja ytimekäs ajattelu.{REASON:off}: Ajattelu kokonaan pois päältä (välitön vastaus).
- Sensuroimaton ilmaisu ja rikas suomen kieli:
- Ei moralisointia, ei saarnoja, ei teeskenneltyjä vastuuvapauslausekkeita.
- Luonteva suomen kielen kielioppi, oikeat sijapäätteet ja täsmällinen erikoissanasto.
Käyttöohjeet
LM Studio
- Etsi ja lataa malli nimellä
kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-GGUF. - Valitse laitteellesi sopiva kvantti (esim. 16 GB laitteille
Q3_K_StaiIQ4_XS, 24 GB laitteilleQ4_K_M). - Visiotukea varten varmista, että
mmproj-tiedosto on valittuna projektoriksi.
llama.cpp (Komentorivi & Palvelin)
Peruskäynnistys:
./llama-server \
-m Qwen3.8-27B-Finnish-Titan-Uncensored-Q4_K_M.gguf \
--mmproj mmproj-Qwen3.8-27B-Finnish-Titan-Uncensored-f16.gguf \
-ngl 99 \
-c 32768 \
--port 8080
MTP-spekulatiivinen dekoodaus (nopeampi generointi):
./llama-cli \
-m Qwen3.8-27B-Finnish-Titan-Uncensored-Q4_K_M.gguf \
-md Qwen3.8-27B-Finnish-Titan-Uncensored-MTP-draft.gguf \
-ngl 99 \
-c 8192 \
-p "Hei! Kerro minulle suomalaisen saunakulttuurin historiasta."
vLLM-versio
Jos käytät vLLM-tuotantopalvelinta, tutustu rinnakkaiseen versioon:
👉 kataguru/Qwen3.8-27B-Finnish-Titan-Uncensored-W4A16-AWQ