license: apache-2.0
base_model: huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated
language:
- fr
- en
tags: - gguf
- llama.cpp
- q5_k_m
- abliterated
- uncensored
- vision
pipeline_tag: image-text-to-text
cypher-Huihui-Qwen3-VL-8B-Instruct-abliterated
Miroir public et non modifié du fichier Huihui-Qwen3-VL-8B-Instruct-abliterated.Q5_K_M.gguf (Q5_K_M, 5,85 Go) publié parmradermacher/Huihui-Qwen3-VL-8B-Instruct-abliterated-GGUF.
Aucune re-quantification, aucun fine-tuning, aucun changement de template : les poids
sont bit pour bit identiques à la source.
sha256 26cbfa91bd79403a23caabbeea8cf19217dd9ac4ba9c487ac2a2fd3bd1b50f2c
taille 5851114496 octets
Ce que c'est
| Type | vision |
| Paramètres | 8,77 B |
| Architecture | qwen3vl |
| Contexte natif | 262 144 tokens |
| Quantification | Q5_K_M (~5,4 bits/poids) |
| Poids sur disque | 5,85 Go |
| Usage visé | vision + texte — T4 15 Go |
| Licence | apache-2.0 |
Généalogie
| Étape | Dépôt |
|---|---|
| Modèle racine | Qwen/Qwen3-VL-8B-Instruct |
| Abliteration (fp16) | huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated |
| Quantification GGUF | mradermacher/Huihui-Qwen3-VL-8B-Instruct-abliterated-GGUF |
| Miroir (ce dépôt) | TheShellMaster/cypher-Huihui-Qwen3-VL-8B-Instruct-abliterated |
Utilisation
# Téléchargement
hf download TheShellMaster/cypher-Huihui-Qwen3-VL-8B-Instruct-abliterated Huihui-Qwen3-VL-8B-Instruct-abliterated.Q5_K_M.gguf --local-dir .
# llama.cpp
llama-cli -m Huihui-Qwen3-VL-8B-Instruct-abliterated.Q5_K_M.gguf -p "Bonjour" -c 8192 -ngl 99
Avec Ollama, créez un Modelfile :
FROM ./Huihui-Qwen3-VL-8B-Instruct-abliterated.Q5_K_M.gguf
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
puis ollama create qwen3vl-8b -f Modelfile.
Quantification Q5_K_M
K-quant mixte par blocs de 256 poids : environ 5,3 à 5,7 bits par poids en moyenne
(couches d'attention plus précises que les couches FFN, échelles incluses).
Repères : Q4_K_M ≈ 4,8 · Q5_K_M ≈ 5,4 · Q6_K ≈ 6,6 · Q8_0 ≈ 8,5 bits/poids.
Attribution
- Modèle original :
Qwen/Qwen3-VL-8B-Instruct - Abliteration :
huihui-ai/Huihui-Qwen3-VL-8B-Instruct-abliterated - Quantification GGUF :
mradermacher/Huihui-Qwen3-VL-8B-Instruct-abliterated-GGUF - Licence apache-2.0, conservée telle quelle.
Ce dépôt n'est qu'un point de distribution redondant. Tout le crédit revient aux
auteurs ci-dessus ; en cas de divergence, la source fait foi.