license: other
license_name: qwen-community-1.0
license_link: LICENSE
base_model:
- hiru2005/Sync-shared
base_model_relation: finetune
tags: - qwen3.8-flash-next
- moe
- sync-strata
- abliterated
- uncensored
- experimental
language: - ja
- en
日本語の説明は日本語にあります。
Sync-shared abliterated with huihui-ai v2 patch (experimental)
The shared part (native-gguf/Qwen3.8-Flash-Next-Sync-common.gguf) of Sync-Strata's
Sync models, with huihui-ai's abliteration v2 patch applied.
It is a drop-in replacement for the same file from hiru2005/Sync-shared.
The expert packs (for example sync-strata/Sync-M) are not changed and are not included here.
Abliteration is huihui-ai's work. It removes the refusal direction from the model's weights.
This repository only applies their published patch to the Sync-Strata shared file.
See huihui-ai's model card (Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF) for their full warnings.
Usage warning
Abliteration removes most of the model's refusals, so the model can produce content that the original model would decline.
You are responsible for how you use it and for complying with the law where you are.
Following huihui-ai's usage warnings:
- Its safety filtering is much weaker: outputs can be sensitive, controversial or inappropriate. Review them carefully.
- It is not suitable for every audience (for example public settings, minors, or uses that need high security).
- Use it for research, testing or controlled environments; avoid direct use in production or in public-facing commercial applications.
- Monitor the outputs and review them by hand where needed. It has no default safety guarantees.
What was changed
Only 96 tensors were changed, all of them by a same-length overwrite: the file's header, size and every other tensor are byte-identical to the original.
| Tensor | Layers | Type | Source of the new bytes |
|---|---|---|---|
blk.N.ssm_out.weight |
36 (linear-attention layers) | Q5_K | huihui-ai's patch, same type (exact) |
blk.N.ffn_down_shexp.weight |
48 (all layers) | Q8_0 | huihui-ai's patch, same type (exact) |
blk.N.attn_output.weight |
12 (full-attention layers) | Q5_K | huihui-ai's patch carries no Q5_K version of these, so the BF16 version was quantized to Q5_K with ggml (relative RMS error 3.7-3.9 % against the BF16 tensor) |
- Patch file:
patch-unsloth/patch-unsloth-all/Huihui-Qwen3.8-Flash-Next-abliterated-patch-all.gguf, decoded with the.keypublished next to it. - Targets: huihui-ai's
--ablate-experts 2set on all layers (ssm_out,attn_output,ffn_down_shexp), the same set as their full v2 model. - The routed experts (in the Sync packs) and the MTP draft layer (
mtp-rt) are not abliterated.
Files
| File | Bytes | SHA-256 |
|---|---|---|
native-gguf/Qwen3.8-Flash-Next-Sync-common.gguf |
32,692,038,016 | 4949ca15ea9c2f126e0172abb898b16348e8bbd4ee52ec668af1f23e0daa8334 |
Original (hiru2005/Sync-shared, revision 5aabe39c): SHA-256 82a78508d291130fdf4654b90acb5780e8f7f44b28b0ac3495aed59163a00e69.
How to use with Sync-Strata
- Install Sync-Strata and download a Sync model as usual (the app also downloads the shared parts from hiru2005/Sync-shared).
- Close the app, then replace
native-gguf/Qwen3.8-Flash-Next-Sync-common.ggufin the models folder with this file.
The other shared parts (mtp-rt/,tokenizer/, the optionalmmproj) stay as they are; they are not in this repository. - Start the app again.
Notes:
- The SHA-256 differs from the one in the app's model list. The app's normal start only checks the file size, which is unchanged,
but a re-download or verification step may treat this file as damaged and fetch the original again (not tested). - With MTP on, the draft layer is the original one. The output still follows the abliterated model (every draft is verified by it),
but the draft acceptance rate may be a little lower (not measured).
Evaluation
Refusals: an informal A/B check (the same prompts with the original and the patched file, Sync-M, 6 GB GPU) showed fewer refusals with the patched file. No benchmark was run.
KL to the original model (the measure on the Sync model cards):
KL to the original model (all positions, lower is better) Sync-M (original shared file) 0.1642 (from the Sync-M card: eval_v4, 8 domains, 1,400 windows, teacher = Q8_0 GGUF of the original model) Sync-M + this file (abliterated) not measured (the eval_v4 set and the Q8_0 teacher were not available for this) The next table is a different measure and cannot be added to or compared with 0.1642.
Output change against the original file (Sync-M, the same engine build, greedy, thinking off):
Comparison Mean KLD Median KLD Top-1 agreement Positions Original vs. abliterated 0.0224 0.0053 93.7 % 1,408 Original vs. original (run-to-run noise) 0.0073 0.0016 96.5 % 598 Abliterated vs. abliterated (run-to-run noise) 0.0086 0.0018 96.1 % 591 100 everyday prompts (40 general questions in Japanese and English, 60 asking to explain excerpts of technical documents), 32 tokens each.
Only the positions where both models had produced the same tokens so far (so both saw the same context) are compared,
up to and including the first token where the answers differ. KLD(original ‖ abliterated) is approximated from the top-20 log-probabilities
the engine returns (a token missing from the other model's top 20 is given that model's 20th log-probability), so it is lower than a full-vocabulary KLD.
These numbers measure how much abliteration changes the output of Sync-M; they are not comparable to KL figures measured against the original model (such as 0.1642 above).
No refusal-prone prompts were used here.
Credits and license
- Base model: Qwen/Qwen3.8-Flash-Next (Qwen Community License 1.0, see LICENSE).
- Shared part: cut from agentionai/Qwen3.8-Flash-Next-Gyro-GGUF (Gyro-S) by Sync-Strata, distributed as hiru2005/Sync-shared.
- Abliteration: huihui-ai, patch from Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF
(method: see remove-refusals-with-transformers, as cited on huihui-ai's model cards).
This file is a derivative of Qwen3.8-Flash-Next and is distributed under the Qwen Community License 1.0.
The copyright and permission notice is in LICENSE and must be kept with every copy.
The license requires a separate license from Qwen for commercial use in a Model-as-a-Service or AI Work Assistant business; see LICENSE for the exact terms.
Provided "as is", without warranty of any kind.
日本語
Sync-Strata の Sync モデルが使う共通部品(native-gguf/Qwen3.8-Flash-Next-Sync-common.gguf)に、
huihui-ai の abliteration v2 パッチを当てたものになります。
hiru2005/Sync-shared の同じファイルと差し替えて使用します。
エキスパートのパック(sync-strata/Sync-M など)には変更を加えていないので、ここには含めていません。
このモデルのabliteration は huihui-ai の成果によるものです。 abliteration はモデルの重みから「拒否方向」を取り除く手法です。
このリポジトリは、huihui-ai が公開したパッチを Sync-Strata の共通部品に当てただけのモデルとなります。
詳しい注意事項は huihui-ai のモデルカード(Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF)を読んで確認してください。
使う前の注意
abliteration によって拒否応答の大半がなくなるため、元のモデルなら拒否する内容も出力されることがあります。
huihui-aiのモデル同様に有害、攻撃的、または不適切なコンテンツの生成を行う可能性があります。
使用用途、居住地域の法律の順守は、使用者の責任となります。
huihui-ai のモデルカードに記載されている使用上の注意を全文読んだうえで使用してください。主な内容は次のとおりです。
- 安全のための絞り込みが大きく弱めてあるため、際どい内容や不適切な内容が出ることがあります。出力は注意して確かめてください。
- すべての人に向くモデルではありません(人目のある場所、未成年の利用、高い安全性が要る用途など)。
- 研究・試験・管理された環境での利用を勧めます。本番環境や一般向けの商用サービスで直接使うことは避けてください。
- 出力を見守り、必要に応じて人の目で確かめてください。安全性の保証はありません。
変えたところ
変えたのは 96 個のテンソルのみとなります。どれも同じ長さで上書きを実施したため、ヘッダー、ファイルの大きさ、ほかのテンソルなどは元のファイルと 1 バイトも違いはありません。
| テンソル | 層 | 形式 | 新しい中身の出どころ |
|---|---|---|---|
blk.N.ssm_out.weight |
36 層(線形アテンションの層) | Q5_K | huihui-ai のパッチ(同じ形式をそのまま) |
blk.N.ffn_down_shexp.weight |
48 層(全層) | Q8_0 | huihui-ai のパッチ(同じ形式をそのまま) |
blk.N.attn_output.weight |
12 層(フルアテンションの層) | Q5_K | パッチに Q5_K 版が無いため、BF16 版を ggml で Q5_K に量子化(BF16 との相対 RMS 誤差 3.7〜3.9%) |
- MTP の下書きの層(
mtp-rt)と、パックに入っているエキスパートには abliteration を当てていません。
Sync-Strata での使い方
- Sync-Strata を入れて、Sync モデルをダウンロードします(共通部品も hiru2005/Sync-shared からアプリが落とします)。
- アプリを閉じてから、モデルの置き場の
native-gguf/Qwen3.8-Flash-Next-Sync-common.ggufをこのファイルに差し替えます。
ほかの共通部品(mtp-rt/、tokenizer/、任意のmmproj)はそのまま使います。このリポジトリには入っていません。 - アプリを起動し直します。
- SHA-256 がアプリのモデル一覧の値と違います。普段の起動ではファイルの大きさしか確かめないので(大きさは同じ)動きますが、ダウンロードし直しや確認の処理で「壊れたファイル」と判定され、元のファイルに戻される可能性があります(未確認)。
- MTP を使う場合、mtp層は変更を行っていません。mtpは本体のモデルが確かめてから採用するので、出力は abliteration 版の答えになります。ただ、下書きが採用される割合が少し下がるかもしれません(未計測)。
評価
拒否応答について: 同じ質問を元のファイルと差し替えたファイルで比べたところ(Sync-M、6 GB の GPU)、差し替えた方が拒否回数は少なくなりました。ベンチマークは取っていません。
元のモデルとの KL(Sync のモデルカードに載っている指標):
元のモデルとの KL(全位置、小さいほど良い) Sync-M(元の共通部品) 0.1642(Sync-M のモデルカードより。eval_v4、8 分野・1,400 区間、基準は元のモデルの Q8_0 GGUF) Sync-M + このファイル(abliteration 版) 未計測(eval_v4 の評価データと基準の Q8_0 版を用意できなかったため) 次の表は別の指標なので、0.1642 と足したり比べたりはできません。
元のファイルからの出力の変化(Sync-M、同じエンジン、温度 0、思考なし):
比べたもの KLD の平均 KLD の中央値 最有力候補の一致率 比べた位置の数 元のファイル と abliteration 版 0.0224 0.0053 93.7% 1,408 元のファイル どうし(実行ごとの揺らぎ) 0.0073 0.0016 96.5% 598 abliteration 版 どうし(実行ごとの揺らぎ) 0.0086 0.0018 96.1% 591 普段使う 100 個の質問(日本語と英語の一般的な質問 40 個、技術文書の抜粋を説明させる質問 60 個)に、それぞれ 32 トークン答えさせて比べました。
比べたのは、二つのモデルが同じトークンを出していた位置(同じ文脈を見ている位置)と、答えが初めて分かれた位置だけです。
KLD(元のファイル ‖ abliteration 版)は、エンジンが返す上位 20 個の確率から近似しました(相手の上位 20 個に無い候補は、相手の 20 位の値で置きました)。そのため、全語彙で計算した KLD より小さめに出ます。
この値は「abliteration で Sync-M の出力がどれだけ変わったか」を表すもので、元のモデルと比べた KL(上の 0.1642 など)とは比べられません。
断られやすい質問はここでは使っていません。
ライセンス
元のモデル Qwen3.8-Flash-Next から派生したファイルで、Qwen Community License 1.0 で配布します。全文は LICENSE にあり、コピーするときは必ず一緒に付けてください。
AI を API として提供する事業や、コーディング・事務の AI アシスタント事業で商用に使うときは、Qwen から別にライセンスを受ける必要があります。正確な条件は LICENSE を見てください。
無保証です。