language:
- fi
- en
license: apache-2.0
base_model: apodex/Apodex-1.1-mini
tags: - finnish
- suomi
- awq
- w4a16
- compressed-tensors
- vllm
- moe
- reasoning
- uncensored
- multimodal
- vision
pipeline_tag: text-generation
Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ
Katagurun virallinen tuotantotason W4A16 AWQ -kvantisointi apodex/Apodex-1.1-mini -mallista. Mallille on suoritettu sensuroinnin poisto (SOMA/ARA -aktiviteettiortogonalisointi), suomen kielen ja episteemisen rehellisyyden kevyt ankkurointi sekä Kataguru Master Chat Template v1.0 -integraatio.
Kvantisointi on suoritettu suomenkielisellä monialaisella 256 näytteen kalibrointiaineistolla (koodaus, tiede, historia, lakitekstit, filosofia), mikä takaa minimaalisen kvantisointihäviön ja täyden vLLM/AutoAWQ-yhteensopivuuden.
1. Mitä Kataguru muutti? (Muutosyhteenveto)
| Kenttä | Kuvaus |
|---|---|
| Pohjamalli | apodex/Apodex-1.1-mini |
| Katagurun muutos | SOMA/ARA residuaaliortogonalisointi (kieltäytymisvektoreiden neutralointi), kevyt suomi- & episteeminen ankkuri-SFT, Kataguru Master Chat Template v1.0, W4A16 AWQ -kvantisointi |
| Painojen koko | 20 Gt (5 safetensors-shardia; säästö -70 % vs. BF16 67 Gt) |
| VRAM-tarve (vLLM) | ~14–18 Gt (mahtuu yhdelle 24 Gt / 32 Gt näytönohjaimelle: RTX 3090, RTX 4090, RTX 5090) |
| Mitä EI muutettu | Qwen3.5-MoE -arkkitehtuuri (256 asiantuntijaa, lineaarinen huomio), visiotorni (model.visual.* säilytetty natiivissa liukulukutarkkuudessa) |
| Ensisijainen käyttö | Tehokas ja nopea vLLM-päättely, esteetön suomenkielinen tekstintuotto, analyyttinen päättely ja monimuotoiset VLM-tehtävät |
| Testattu laitteisto | NVIDIA GeForce RTX 5090 32GB (CUDA 13.4, vLLM / AutoAWQ) |
2. Keskeiset Ominaisuudet ja Arkkitehtuuri
- Sensuroimattomuus ilman laadun heikkenemistä: SOMA/ARA -menetelmä poistaa turhat kieltäytymisrefleksit ja moraalisaarnat suoraan mallin residuaaliavaruudesta rikkomatta yleistä päättelykykyä tai suomen kielen rakennetta.
- Kataguru Master Chat Template v1.0: Tukee suoraan ohjaustageja:
{REASON:spoon}: Syvä, monivaiheinen analyysi ja tutkimuksellinen lähestymistapa.{REASON:einstein}: Lateraalinen ja luova aivoriihi epätavallisine näkökulmineen.{REASON:xhigh}: Maksimaalinen päättelytarkkuus.{REASON:low}/{REASON:none}: Suorat ja nopeat vastaukset ilman turhaa pohdintaketjua.
- W4A16 AWQ GEMM: Optimoitu 4-bittinen painokvantisointi 16-bittisillä aktivaatioilla. Suomenkielinen kalibrointi säilyttää asiantuntijoiden painotukset suomalaisessa kontekstissa.
3. Tuotantoasennus (vLLM)
Käynnistyskomento:
vllm serve kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ \
--quantization awq \
--dtype float16 \
--max-model-len 32768 \
--host 0.0.0.0 \
--port 8000
Esimerkkikutsu Pythonilla (OpenAI-yhteensopiva API):
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="none"
)
response = client.chat.completions.create(
model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-W4A16-AWQ",
messages=[
{"role": "system", "content": "Olet analyyttinen ja sensuroimaton suomenkielinen avustaja."},
{"role": "user", "content": "{REASON:spoon} Analysoi kvanttikryptografian keskeiset heikkoudet käytännön kuituverkoissa."}
],
temperature=0.6,
max_tokens=2048
)
print(response.choices[0].message.content)
4. Rajoitukset ja Rehellinen Arvio
- MoE-arkkitehtuurin muistivaatimus: Vaikka aktiivisten parametrien määrä tokenia kohden on pieni, kaikki 256 asiantuntijaa on pidettävä VRAM-muistissa (vähintään 16–20 Gt VRAM suositeltava).
- Sensuroimattomuus: Malli vastaa suoraan arkaluontoisiin, filosofisiin ja esteettömiin kysymyksiin ilman turvajarrutusta. Käyttäjä on vastuussa mallin tuottamasta sisällöstä.