license: apache-2.0
base_model: llmfan46/Qwen3.6-35B-A3B-uncensored-heretic
base_model_relation: quantized
quantized_by: K0ndra
pipeline_tag: text-generation
tags:
- gguf
- imatrix
- japanese
- qwen3
- moe
- abliterated
language: - ja
- en
Qwen3.6-35B-A3B-uncensored-heretic Japanese imatrix GGUF
日本語を主体としたImportance MatrixによるGGUF量子化です。
Japanese-focused imatrix GGUF quantizations of llmfan46/Qwen3.6-35B-A3B-uncensored-heretic.
量子化情報
- 元モデル: llmfan46/Qwen3.6-35B-A3B-uncensored-heretic
- ベースモデル: Qwen/Qwen3.6-35B-A3B (Apache 2.0)
- 量子化ツール: llama.cpp
b8892
量子化バリアントについて
ファイル名の末尾に_Lが付いたモデルはtoken embeddingとoutputの重みをQ8で量子化しています。
入力トークンの解釈や出力トークンの選択に直接関わる部分の精度がより良く維持されることを期待しています。
迷った場合はまず通常のIQ4_XSを選べば問題ないと思いますが、VRAMが16GBなどの場合でもGPUに載せられるレイヤー数が1層減るかどうか程度なのでIQ4_XS_Lを試してみるのもいいかもしれません。
imatrixについて
日本語テキストを主体としたキャリブレーションデータでImportance Matrixを生成しています。
英語データをメインに生成されたimatrixと比較して、日本語の生成品質がより良く維持されることを期待しています。
imatrixデータファイル(Qwen3.6-35B-A3B-uncensored-heretic.imatrix)を同梱しているため、他の量子化タイプを生成したい場合にご利用いただけます。
⚠️ 注意 / Disclaimer
このモデルは検閲除去処理が施されたモデルの量子化です。安全フィルターが大幅に緩和されており、有害・不適切なコンテンツを生成する可能性があります。出力内容の利用については利用者自身の責任においてご判断ください。
This is a quantization of an abliterated model with significantly reduced safety filters. Use at your own risk and responsibility.