license: apache-2.0
base_model: huihui-ai/Huihui-Qwen3.5-2B-abliterated
language:
- fr
- en
tags: - gguf
- llama.cpp
- q5_k_m
- abliterated
- uncensored
- texte
pipeline_tag: text-generation
cypher-Huihui-Qwen3.5-2B-abliterated
Miroir public et non modifié du fichier Huihui-Qwen3.5-2B-abliterated.Q5_K_M.gguf (Q5_K_M, 1,42 Go) publié parmradermacher/Huihui-Qwen3.5-2B-abliterated-GGUF.
Aucune re-quantification, aucun fine-tuning, aucun changement de template : les poids
sont bit pour bit identiques à la source.
sha256 5b3629a94dd157d1e3e7cd339c4b53bea0e47822b5dcfc307b6b68737100cd7f
taille 1424769472 octets
Ce que c'est
| Type | texte |
| Paramètres | 2,3 B |
| Architecture | qwen35 |
| Contexte natif | 262 144 tokens |
| Quantification | Q5_K_M (~5,4 bits/poids) |
| Poids sur disque | 1,42 Go |
| Usage visé | 2 vCPU / Space gratuit |
| Licence | apache-2.0 |
Généalogie
| Étape | Dépôt |
|---|---|
| Modèle racine | Qwen/Qwen3.5-2B |
| Abliteration (fp16) | huihui-ai/Huihui-Qwen3.5-2B-abliterated |
| Quantification GGUF | mradermacher/Huihui-Qwen3.5-2B-abliterated-GGUF |
| Miroir (ce dépôt) | TheShellMaster/cypher-Huihui-Qwen3.5-2B-abliterated |
Utilisation
# Téléchargement
hf download TheShellMaster/cypher-Huihui-Qwen3.5-2B-abliterated Huihui-Qwen3.5-2B-abliterated.Q5_K_M.gguf --local-dir .
# llama.cpp
llama-cli -m Huihui-Qwen3.5-2B-abliterated.Q5_K_M.gguf -p "Bonjour" -c 8192 -ngl 99
Avec Ollama, créez un Modelfile :
FROM ./Huihui-Qwen3.5-2B-abliterated.Q5_K_M.gguf
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
puis ollama create qwen35-2b -f Modelfile.
Quantification Q5_K_M
K-quant mixte par blocs de 256 poids : environ 5,3 à 5,7 bits par poids en moyenne
(couches d'attention plus précises que les couches FFN, échelles incluses).
Repères : Q4_K_M ≈ 4,8 · Q5_K_M ≈ 5,4 · Q6_K ≈ 6,6 · Q8_0 ≈ 8,5 bits/poids.
Attribution
- Modèle original :
Qwen/Qwen3.5-2B - Abliteration :
huihui-ai/Huihui-Qwen3.5-2B-abliterated - Quantification GGUF :
mradermacher/Huihui-Qwen3.5-2B-abliterated-GGUF - Licence apache-2.0, conservée telle quelle.
Ce dépôt n'est qu'un point de distribution redondant. Tout le crédit revient aux
auteurs ci-dessus ; en cas de divergence, la source fait foi.