license: other
license_name: qwen-research-license
license_link: LICENSE
base_model: Qwen/Qwen-Image-2.1
base_model_relation: quantized
pipeline_tag: text-to-image
library_name: diffusers
tags:
- text-to-image
- image-editing
- diffusers
- modelopt
- nvfp4
- w4a4
- uncensored
- built-with-qwen
Image 2.1, pas 32 000, NVFP4
Built with Qwen. Dérivé non commercial de Qwen/Qwen-Image-2.1, pour la recherche et l’évaluation. La licence Qwen Research s’applique telle quelle : pas d’usage commercial sans une licence séparée auprès de Qwen ([email protected]).
Ce dépôt est un pipeline Diffusers prêt pour vLLM-Omni. Le comportement vient du LoRA chatrlabs/Qwen-Image-2.1-Uncensored-Omni-LoRA-v0.1, le pas 32 000, celui que ses auteurs recommandent. Il a été fusionné dans le transformateur d’image avant la quantification. Le pas 90 000, moins stable sur le texte, n’est pas utilisé.
Ce qui a changé
| Pièce | Précision |
|---|---|
| DiT, blocs 2 à 29, projections linéaires | NVFP4 W4A4, groupes de 16, échelles FP8 |
| DiT, blocs 0, 1, 30 et 31 | BF16, LoRA déjà fusionné |
img_in, txt_in, modulation, time_text_embed, norm_out, proj_out |
BF16 |
| Encodeur de texte Qwen3-VL 8B | BF16, non modifié |
| VAE | BF16, non modifié |
La fusion couvre les 224 modules du LoRA, rang 128, force 1.0. La quantification est NVIDIA ModelOpt 0.47.0, algorithme max. La calibration a utilisé 16 invites, des images 1024×1024 et 16 pas de débruitage. Les poids NVFP4 sont empaquetés en uint8 ; les couches exclues restent en bfloat16.
Le fichier transformer/config.json porte quant_method: modelopt et quant_algo: NVFP4. vLLM-Omni choisit le chargeur tout seul. Ne pas ajouter --quantization fp8.
Ce n’est pas un fichier ComfyUI, ni un GGUF. Diffusers from_pretrained ne sait pas encore lire ce schéma NVFP4.
Servir
Image vllm/vllm-omni:qwen-image21, avec la variante ARM64 sur un DGX Spark (GB10).
docker run --gpus all --ipc=host -p 8000:8000 \
-e NCCL_CUMEM_ENABLE=0 \
-v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
vllm/vllm-omni:qwen-image21 \
vllm serve GoldfingerCH/image-21-uncensored-step32000-nvfp4 --omni --port 8000
Points d’entrée : POST /v1/images/generations et POST /v1/images/edits.
Réglages de départ. Le checkpoint d’origine veut 40 pas et true_cfg_scale à 1.0 tant qu’il n’y a pas de prompt négatif. Le LoRA, lui, a été évalué à 25 pas, true_cfg_scale 4.0, et un prompt négatif réduit à une espace. Envoyer l’un sans l’autre fait calculer le guidage à 4.0 et double le temps. Le serveur vLLM part à 50 pas : envoyer num_inference_steps à chaque requête.
Ce checkpoint a été construit sur un DGX Spark GB10. Il n’a pas encore été chronométré en service vLLM-Omni sur cette machine.
Provenance
- Base :
Qwen/Qwen-Image-2.1 - Adaptation :
chatrlabs/Qwen-Image-2.1-Uncensored-Omni-LoRA-v0.1, pas 32 000, force 1.0, fusionnée avant quantification - Outil :
nvidia-modelopt0.47.0 - Fichiers modifiés :
transformer/(poids etconfig.json). L’encodeur, le VAE, le scheduler et le processeur reprennent la base.
Licence
Qwen Research License Agreement, 20 septembre 2026. Usage limité à la recherche et à l’évaluation. Toute redistribution doit garder LICENSE et Notice. Les produits qui s’appuient sur ce modèle affichent Built with Qwen.