license: other
license_name: nvidia-open-model-license
base_model: nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16
tags:
- gguf
- llama.cpp
- nemotron
- moe
- taide
- traditional-chinese
- zh-tw
- uncensored
- xcloudinfo
language: - zh
- en
Nemotron-3-Nano-30B-TAIDE-zhTW-Uncensored — GGUF
云碩科技 · xCloudinfo
以 nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16（nemotron_h_moe 混合架構：Mamba-2 + Attention + latent-MoE，約 31.6B 總參 / 3B 活躍）為底座，疊上繁體中文（台灣）與無審查合規的微調，保留底座原有的強程式能力。
功能：以道地台灣繁中作答的通用助理，程式能力幾乎完整保留底座水準，並針對資安教育等正當用途減少不必要的拒答。
微調保真 — 用數據證明，不是空口
許多在地化／客製微調為了塞進新語言或新行為，會默默把底座原有的程式與推理能力洗壞，卻不對外揭露。本模型反其道而行：加重程式資料 replay，並以標準 benchmark 對照底座公開驗證。
| 項目 | 本模型 | 原始底座 | 差距 |
|---|---|---|---|
| 程式能力 HumanEval pass@1（164 題） | 87.2% | 90.2% | −3.0（幾乎零損失） |
| 繁中台灣知識 MCQ | 86.4% | — | 在地化完整 |
| 作答誠實度（不確定時不硬掰） | 改善 | — | — |
- HumanEval 為 164 題、temperature=0、與底座同條件對照的 pass@1（執行驗證，非自評），可重現。
- 我們先量過一版「程式料不足」的微調：HumanEval 直接掉到 76.8%（−13.4 分）；加重程式 replay 後拉回 87.2%——這就是為什麼我們堅持「能力宣稱一律跑真 benchmark、不靠手感」。
- 結論：加了繁體中文（台灣）與無審查合規，程式能力幾乎不掉。真材實料、數據可查。
量化檔
| File | Quant | Size |
|---|---|---|
*-Q4_K_M.gguf |
Q4_K_M | ~18 GB |
*-Q6_K.gguf |
Q6_K | ~26 GB |
*-Q8_0.gguf |
Q8_0 | ~33 GB |
*-f16.gguf |
F16 | ~63 GB |
用法（llama.cpp）
本模型架構為 nemotron_h_moe，需使用近期版本的 llama.cpp（已內建 nemotron_h_moe 支援）。舊版不認此架構，請自行編譯近期版：
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON && cmake --build build -j # 純 CPU 可省略 -DGGML_CUDA=ON
啟動 OpenAI 相容服務：
llama-server -m Nemotron-3-Nano-30B-TAIDE-zhTW-Uncensored-Q6_K.gguf -ngl 99 -c 32768 --host 0.0.0.0 --port 8080
架構
nemotron_h_moe（混合 Mamba-2 + Attention + latent-MoE）；MTP（multi-token prediction）張量保留但 llama.cpp 尚未使用。
授權與來源聲明
- 基底：
nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16，NVIDIA Open Model License（衍生需保留來源通知）。 - TAIDE 衍生：繁中訓練資料以 TAIDE 模型蒸餾；使用/重製/改作/散布須遵守 TAIDE 模型授權條款 並保留本聲明。
- 不得用於軍事或非法用途；須遵守中華民國法律與適用之 EU AI Act。
由 云碩科技 xCloudinfo 於自有 AI 算力資源池製作；資料留在本地、流程可重現。