license: apache-2.0
base_model: huihui-ai/Huihui-Qwen3.5-4B-abliterated
language:
- fr
- en
tags: - gguf
- llama.cpp
- q5_k_m
- abliterated
- uncensored
- texte
pipeline_tag: text-generation
cypher-Huihui-Qwen3.5-4B-abliterated
Miroir public et non modifié du fichier Huihui-Qwen3.5-4B-abliterated.Q5_K_M.gguf (Q5_K_M, 3,11 Go) publié parmradermacher/Huihui-Qwen3.5-4B-abliterated-GGUF.
Aucune re-quantification, aucun fine-tuning, aucun changement de template : les poids
sont bit pour bit identiques à la source.
sha256 d35a5c2ac55c0c59d1f34f0dd19b1e572ee548e915f02f8060b65cb2abf15e8c
taille 3108758848 octets
Ce que c'est
| Type | texte |
| Paramètres | 4,54 B |
| Architecture | qwen35 |
| Contexte natif | 262 144 tokens |
| Quantification | Q5_K_M (~5,4 bits/poids) |
| Poids sur disque | 3,11 Go |
| Usage visé | compromis CPU/GPU |
| Licence | apache-2.0 |
Généalogie
| Étape | Dépôt |
|---|---|
| Modèle racine | Qwen/Qwen3.5-4B |
| Abliteration (fp16) | huihui-ai/Huihui-Qwen3.5-4B-abliterated |
| Quantification GGUF | mradermacher/Huihui-Qwen3.5-4B-abliterated-GGUF |
| Miroir (ce dépôt) | TheShellMaster/cypher-Huihui-Qwen3.5-4B-abliterated |
Utilisation
# Téléchargement
hf download TheShellMaster/cypher-Huihui-Qwen3.5-4B-abliterated Huihui-Qwen3.5-4B-abliterated.Q5_K_M.gguf --local-dir .
# llama.cpp
llama-cli -m Huihui-Qwen3.5-4B-abliterated.Q5_K_M.gguf -p "Bonjour" -c 8192 -ngl 99
Avec Ollama, créez un Modelfile :
FROM ./Huihui-Qwen3.5-4B-abliterated.Q5_K_M.gguf
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
puis ollama create qwen35-4b -f Modelfile.
Quantification Q5_K_M
K-quant mixte par blocs de 256 poids : environ 5,3 à 5,7 bits par poids en moyenne
(couches d'attention plus précises que les couches FFN, échelles incluses).
Repères : Q4_K_M ≈ 4,8 · Q5_K_M ≈ 5,4 · Q6_K ≈ 6,6 · Q8_0 ≈ 8,5 bits/poids.
Attribution
- Modèle original :
Qwen/Qwen3.5-4B - Abliteration :
huihui-ai/Huihui-Qwen3.5-4B-abliterated - Quantification GGUF :
mradermacher/Huihui-Qwen3.5-4B-abliterated-GGUF - Licence apache-2.0, conservée telle quelle.
Ce dépôt n'est qu'un point de distribution redondant. Tout le crédit revient aux
auteurs ci-dessus ; en cas de divergence, la source fait foi.