license: apache-2.0
base_model:

• Qwen/Qwen3-VL-30B-A3B-Thinking
• huihui-ai/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated
  base_model_relation: quantized
  tags:
• abliterated
• uncensored
• gptq
• int4
• compressed-tensors
• vllm
• moe
• vision
• image-text-to-text
  pipeline_tag: image-text-to-text

Qwen3-VL-30B-A3B-Thinking-abliterated — GPTQ INT4 (compressed-tensors)

Cuantización INT4 (GPTQ, formato compressed-tensors) de huihui-ai/Huihui-Qwen3-VL-30B-A3B-Thinking-abliterated, a su vez basado en Qwen/Qwen3-VL-30B-A3B-Thinking.

Modelo MoE (30B total, ~3B parámetros activos) que combina razonamiento (thinking), visión, y comportamiento sin censura (abliterated) en un solo checkpoint — hasta donde sabemos, no existía previamente una cuantización INT4 de esta variante específica lista para usar con vLLM.

Detalles de la cuantización

• Método: GPTQ vía llm-compressor 0.12.0
• Esquema: INT4 simétrico, group_size 32, observer MSE
• Capas ignoradas (sin cuantizar): embed_tokens, visual.* (torre de visión completa, en fp16), lm_head, mlp.gate (router de expertos)
• Calibración: ultrachat_200k, 256 muestras × 1024 tokens
• Hardware de cuantización: 1× RTX 5070 (Blackwell, 12GB) vía WSL2, ~8h para las 18,624 capas Linear de expertos (128 expertos × 48 capas × 3 proyecciones)
• Tamaño: 58GB (BF16) → 17GB (INT4), ~3.4x de compresión

Rendimiento en producción

Servido con vLLM 0.24 en 2× NVIDIA A2 (24GB c/u, TP=2):

• ~70-85 tok/s de generación (single-stream)
• Contexto probado hasta 128K tokens sin degradación observable (recuperación perfecta de hechos insertados en un documento de ~61K tokens, en inicio/medio/final)
• Razona (thinking), procesa imágenes, y responde sin rechazos de seguridad (abliterated)

Uso con vLLM

vllm serve nonoskygt/Qwen3-VL-30B-A3B-Thinking-abliterated-GPTQ-INT4 \
  --tensor-parallel-size 2 \
  --max-model-len 131072 \
  --gpu-memory-utilization 0.93 \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching --enable-chunked-prefill \
  --trust-remote-code \
  --dtype float16 \
  --limit-mm-per-prompt '{"image":2,"video":0}' \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser hermes

El compressed-tensors se autodetecta, no hace falta --quantization.

Créditos

• Modelo base: Qwen team — Qwen3-VL-30B-A3B-Thinking
• Abliteración: huihui-ai
• Cuantización INT4: nonoskygt

Licencia

Apache 2.0, heredada del modelo base.

Advertencia

Este es un modelo abliterated (sin las salvaguardas de seguridad del modelo original). Úsalo bajo tu propia responsabilidad y de acuerdo a las leyes aplicables en tu jurisdicción.