license: apache-2.0
base_model: huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated
language:
- fr
- en
tags: - gguf
- llama.cpp
- q5_k_m
- abliterated
- uncensored
- code
pipeline_tag: text-generation
cypher-Qwen2.5-Coder-7B-Instruct-abliterated
Miroir public et non modifié du fichier Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_M.gguf (Q5_K_M, 5,44 Go) publié parbartowski/Qwen2.5-Coder-7B-Instruct-abliterated-GGUF.
Aucune re-quantification, aucun fine-tuning, aucun changement de template : les poids
sont bit pour bit identiques à la source.
sha256 09d606dc9b5b784dbe74924dc91a63e865ddc2ee3ac0745c531fe01f317a6865
taille 5444832096 octets
Ce que c'est
| Type | code |
| Paramètres | 7,6 B |
| Architecture | qwen2 |
| Contexte natif | 32 768 tokens |
| Quantification | Q5_K_M (~5,4 bits/poids) |
| Poids sur disque | 5,44 Go |
| Usage visé | code / FIM — T4 15 Go |
| Licence | apache-2.0 |
Généalogie
| Étape | Dépôt |
|---|---|
| Modèle racine | Qwen/Qwen2.5-Coder-7B-Instruct |
| Abliteration (fp16) | huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated |
| Quantification GGUF | bartowski/Qwen2.5-Coder-7B-Instruct-abliterated-GGUF |
| Miroir (ce dépôt) | TheShellMaster/cypher-Qwen2.5-Coder-7B-Instruct-abliterated |
Utilisation
# Téléchargement
hf download TheShellMaster/cypher-Qwen2.5-Coder-7B-Instruct-abliterated Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_M.gguf --local-dir .
# llama.cpp
llama-cli -m Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_M.gguf -p "Bonjour" -c 8192 -ngl 99
Avec Ollama, créez un Modelfile :
FROM ./Qwen2.5-Coder-7B-Instruct-abliterated-Q5_K_M.gguf
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
puis ollama create coder-7b -f Modelfile.
Quantification Q5_K_M
K-quant mixte par blocs de 256 poids : environ 5,3 à 5,7 bits par poids en moyenne
(couches d'attention plus précises que les couches FFN, échelles incluses).
Repères : Q4_K_M ≈ 4,8 · Q5_K_M ≈ 5,4 · Q6_K ≈ 6,6 · Q8_0 ≈ 8,5 bits/poids.
Attribution
- Modèle original :
Qwen/Qwen2.5-Coder-7B-Instruct - Abliteration :
huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated - Quantification GGUF :
bartowski/Qwen2.5-Coder-7B-Instruct-abliterated-GGUF - Licence apache-2.0, conservée telle quelle.
Ce dépôt n'est qu'un point de distribution redondant. Tout le crédit revient aux
auteurs ci-dessus ; en cas de divergence, la source fait foi.