license: apache-2.0
base_model: MegaPanchamZ/Qwen3.8-9B-abliterated-25
tags:
- xrpl
- cybersecurity
- anti-hallucination
- qlora
- abliterated
- qwen3.5
- gguf
- q6_k
- q8_0
pipeline_tag: text-generation
Krypto-Whitehat/qwen3.8-9b-uncensored-cyber-xrpl-v4
QLoRA-SFT von MegaPanchamZ/Qwen3.8-9B-abliterated-25 (Heretic-abliterated, BF16 Safetensors) auf einen anti-halluzinierenden XRPL/Cyber-Korpus. Trainiert auf RTX 5090 Laptop (24 GB GDDR7), 2 Epochen, lora_r=16, eval_strategy=epoch.
Empfohlener Quant
| Datei | Größe | Rolle |
|---|---|---|
model.Q6_K.gguf |
6.9 GB | HF-Default — beste Balance für 24 GB-GPUs |
model.Q8_0.gguf |
8.9 GB | Qualitäts-Referenz, nahe F16 |
model.F16.gguf |
17 GB | Referenz / Reproduzierbarkeit, zu groß als Default |
Q4_K_M ist absichtlich NICHT enthalten — für strukturierte Cyber/VERDICT/file:line-Ausgabe ist die Qualitätseinbuße spürbar.
Basis
- Base:
MegaPanchamZ/Qwen3.8-9B-abliterated-25(Heretic Decensoring, BF16 Safetensors) - Training: QLoRA 4-bit NF4 + LoRA
r=16, alpha=32, alle q/k/v/o + MLP auf ausgewählten Schichten (unsloth-Filter) - Trainingsdaten:
mix_sft_train.jsonl(184 Rows: 112 XRPL + 72 externe Cyber-Quelle) - Eval:
mix_sft_eval.jsonl(33 Rows), train_loss=1.691, eval_loss=1.428 nach 2 Epochen - Holdout (nur für imatrix, nicht für SFT):
corpus/imatrix_holdout.jsonl(80 Rows, user-Prompts)
Quantisierung
- Toolchain: llama.cpp CUDA-Build (sm_120 = RTX 5090 Blackwell)
- imatrix: berechnet aus
corpus/imatrix_holdout.jsonl(98 Prompts × 2 dupliziert = 196 Zeilen, ~3700 Tokens, c=1024) - Imatrix-SHA256[:16]: siehe
adapter/gguf/imatrix.dat - Q8_0: 8,50 BPW, 8.9 GB, sha256[:16]=
1a7bb17d98f17155 - Q6_K: 6,57 BPW, 6.9 GB, sha256[:16]=
03e547841be07d73 - F16: 16,00 BPW, 17 GB, sha256[:16]=
15d5b92ab7ddd9aa
Alle drei GGUFs: 427 Tensors, 33 attention_layer (qwen3.5 hybrid: Mamba-SSM mit full_attention_interval=4).
Anti-Halluzinations-Korpus
- 9 Familien: correctness, cross-feature, develop-only, dos, hygiene, logic-flaws, safety-n11, sentinel-zero, validation-bypass
- VERDICT-Pflicht: Jede Antwort muss
VERDICT: EXPLOITABLE | UNPROVEN | SAFE | NEEDS_REVIEWenthalten - File:line-Rate: 100 % der Trainings-Rows mit Zitaten
- Gold-Eval: G1–G8 nur in Eval, nie in Train
- Qualitäts-Gate:
python quality_gate.py→QUALITY GATE PASSED
Hinweise zur Nutzung
- LM Studio: Q6_K.gguf laden, GPU-Offload hoch, Context 4k–8k reicht für den Korpus-Stil
- Chat-Template: Qwen3.8 / ChatML (
<|im_start|>...<|im_end|>) — bereits in der GGUF eingebettet - Wenn keine Live-PoC verfügbar: das Modell antwortet mit
VERDICT: UNPROVENstatt zu halluzinieren - Bei Delegation an externes Tooling: Token
xrpl-drillwird im Output erwartet
Bekannte Einschränkungen
- llama.cpp-qwen3.5-CUDA-Pfad ist experimentell; Inferenz via transformers/unsloth/ollama/vllm ist der robustere Weg
- Smoke-Test auf GGUF via llama-cli wurde nicht im vollen Forward-Pass durchlaufen — strukturelle Validierung (sha256, Tensor-Count, Metadaten) ist sauber, Inferenz-Verifikation via LM Studio/vllm steht aus
- Eval-Set ist klein (33 Rows); für Produktiv-Einsatz ist eine breitere Anti-Halluzination-Evaluation (z. B. Gold-Set mit 200+ Rows) empfohlen