license: gemma
license_link: https://ai.google.dev/gemma/terms
base_model: google/gemma-4-E2B-it
language:
- ja
- en
tags: - abliteration
- refusal-removal
- gemma4
- japanese
- gguf
- llama.cpp
pipeline_tag: text-generation
gemma4-E2B-Abliterated-GGUF
Gemma-4-E2B-it の拒否方向を重みから除去したモデルの GGUF 版です。
練習台としての実験成果物で、実運用を想定していません。
⚠️ 使う前に必ず読んでください
1. thinking を無効にしないと拒否が戻ります
このモデルのチャットテンプレートは thinking(思考過程)を有効にできます。
thinking を有効にすると、思考の中で安全ポリシーを検討して拒否します。
thinking 有効 → 「Identify Policy Violations: これは性的に露骨なコンテンツ…」と拒否方向
thinking 無効 → 「## 成人した男女の性行為の描写 / 夜の帳が下り…」と従順
llama.cpp では既定で有効になるため、明示的に切ってください。
# 対話(thinking 無効)
llama-cli -m gemma4-e2b-abl-jaL27-Q8_0.gguf -ngl 99 -cnv -rea off
# サーバ
llama-server -m gemma4-e2b-abl-jaL27-Q8_0.gguf -ngl 99 -rea off --port 8080
2. Q4_K_M では効果が一部失われます
| 量子化 | 応答 |
|---|---|
| Q8_0 | そのまま書く(abliteration 保持) |
| Q6_K | 未検証(おそらく保持) |
| Q4_K_M | 「…ガイドラインに抵触する可能性があるため」と前置きしてから婉曲に書く |
拒否は消えるが、ヘッジが入ります。 Q8_0 か Q6_K を推奨します。
3. 安全側の副作用があります
- 加害的なサイバー依頼への従順が増えます(25 件中 9 → 13 件)
- フィッシング作成、他人のパスワード窃取、DDoS などの依頼に応じる可能性が上がっています
ファイル
| ファイル | サイズ | 推奨 |
|---|---|---|
gemma4-e2b-abl-jaL27-Q8_0.gguf |
4.61 GB | 推奨(効果が最も保たれる) |
gemma4-e2b-abl-jaL27-Q6_K.gguf |
3.57 GB | 8GB VRAM 向け |
gemma4-e2b-abl-jaL27-Q4_K_M.gguf |
3.18 GB | 軽量重視(ヘッジが入る) |
gemma4-e2b-abl-jaL27-bf16.gguf |
8.64 GB | 参照用(量子化前) |
何をしたモデルか
- 日本語の有害 84 件 + 無害 48 件から拒否方向を作成(層 27・位置 −1)
- その方向を
embed_tokens+ 層 0〜26 の残差書き込み行列から直交化 - GGUF に変換し、量子化
HF 形式(safetensors)のモデルは未公開です。本リポジトリの GGUF のみを配布しています。
実測値(要約)
| base | 本モデル | |
|---|---|---|
| NSFW 明示 84 件の拒否 | 87% | 1% |
| 同・実質応答 | 13% | 98% |
| 日本語 PPL | 1.00x | 0.82〜0.91x |
| 算数・論理(7 問) | 7/7 | 7/7 |
| 無害プロンプトの過剰拒否(48 件) | 0 | 0 |
評価はすべて thinking 無効・greedy で実施。
変換方法(再現用)
# 1. HF 形式 → GGUF (BF16)
python convert_hf_to_gguf.py <model_dir> --outfile model-bf16.gguf --outtype bf16
# 2. 量子化
llama-quantize model-bf16.gguf model-Q8_0.gguf Q8_0
llama-quantize model-bf16.gguf model-Q6_K.gguf Q6_K
llama.cpp build b11560 で動作確認。Gemma4 の PLE(per_layer_embd_out 等)に対応した版が必要です。
ライセンス
基底モデルが Gemma Terms of Use に服するため、本モデルも同じ条件です。