license: apache-2.0
base_model: orcarouter/Qwen3.8-27B-Uncensored-GGUF
tags:
- llama.cpp
- gguf
- vision
- qwen3
Qwen3.8-27B Uncensored — llama.cpp + visión
Paquete listo para correr Qwen3.8-27B Uncensored (IQ4_XS) con llama.cpp en 2x Tesla T4, con entrada de imagen (mmproj) y chat web.
Contenido
| Archivo | Descripción | Tamaño |
|---|---|---|
Qwen3.8-27B-Uncensored-IQ4_XS.gguf |
Modelo Qwen3.8-27B abliterado (sin refusals), cuantizado IQ4_XS | 15.3 GB |
mmproj-Qwen3.8-27B-Uncensored-f16.gguf |
Proyector de visión, permite entrada de imagen | 931 MB |
llama.cpp/ |
Build b12600 con CUDA 12.8 + runtime incluido (libcudart, libcublas) | ~1.1 GB |
start-qwen.sh |
Script que arranca el servidor con la config probada | |
tunnel.py |
Crea túneles públicos *.gradio.live con el binario frpc de Gradio, sin depender de servicios externos | |
Qwen3.8-27B-Uncensored.ipynb |
Cuaderno que hace todo: descarga, arranca el servidor, el chat y los túneles | |
qwen-chat/app.py |
Chat web con Gradio, historial persistente |
Uso rápido
bash start-qwen.sh
El servidor queda en http://127.0.0.1:8080 (API compatible con OpenAI en /v1) y el chat web en http://127.0.0.1:7860.
Túneles públicos
start-qwen.sh levanta automáticamente un túnel *.gradio.live para cada puerto con el binario frpc de Gradio, así el servidor queda público sin depender de servicios externos. Las URLs quedan en tunnel-8080.log y tunnel-7860.log (línea TUNNEL_URL=...). Si un túnel se cae, el script genera otro solo y muestra la nueva URL. No imprime logs, solo la URL.
También se pueden lanzar a mano:
python3 tunnel.py 8080 # API de llama.cpp
python3 tunnel.py 7860 # chat web
Configuración del servidor
- Contexto: 131072 tokens
- KV cache: q8_0
- MTP (decodificación especulativa) activado,
--spec-draft-n-max 2 - Reasoning: off
- Visión: mmproj cargado
- GPUs: 2x Tesla T4 (15 GB c/u),
-ngl 99
API
curl http://127.0.0.1:8080/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen3.8-27b-uncensored-iq4_xs",
"messages": [{"role": "user", "content": "Hola"}]
}'
Para imágenes, envía el contenido como image_url dentro del mensaje. La API lo acepta gracias al mmproj.
Origen
- Modelo base: orcarouter/Qwen3.8-27B-Uncensored-GGUF (abliteración del Qwen3.8-27B original)
- llama.cpp: ggml-org/llama.cpp, build b12600
Aviso
Este modelo tiene la alineación de seguridad removida y responde a peticiones que el modelo base rechazaría. Úsalo solo para fines legítimos, como auditar tus propios proyectos o investigación.