library_name: mlx
license: apache-2.0
pipeline_tag: image-text-to-text
tags:
- mlx
- omlx
- oq
- mixed-precision
- multimodal
- mtp
Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp
由 xohaohe（华哥）发布的 27B 级 MLX 多模态混合精度模型，开放下载。
发布者介绍
发布者说明：使用 oMLX 0.7.1 进行全面混合精度量化处理，保留视觉模块和 MTP。发布者个人评价为“目前最优秀的小模型”；尚待补充可复现对比成绩。
技术信息
- 稠密 Qwen 架构，64 层语言网络，隐藏维度 5120。
- 默认 4-bit affine，group size 64；130 个模块配置为 5-bit、2 个为 6-bit。
- 权重含量化打包整数、FP16 和 FP32；视觉编码器权重保留 FP32。
- 保留 27 层视觉编码器、图片/视频模板和预处理配置；具体多模态支持依赖引擎。
- 保留 1 层 MTP；是否加速取决于引擎支持和预测接受率。
- 配置上下文：262,144 tokens（256K），未验证满长度质量。
- 4 个 Safetensors 分片，共 17.94 GB（16.71 GiB）。
- 校准报告：oqe_code_multilingual，128 个样本，每个 512 tokens。
测试成绩
发布者本量化版本的测试成绩及测试设置待补充。上游 MXFP4/MXFP8 成绩不作为本版本实测成绩。
量化作者
本量化版本的一手作者：xohaohe（华哥）。根据作者提供的制作信息，本版本使用 oMLX 0.7.1 进行全面混合精度量化，保留多模态视觉模块与 MTP 权重，面向 Apple Silicon 发布。
下载
hf download xohaohe/Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp --local-dir ./Qwen3.8-27B-TURBO-Fable5.5-Cold-Fusion-L-Uncensored-fp16-oQ4e-mtp
使用支持该架构的 MLX 多模态引擎加载完整目录。默认生成配置：temperature=1.0、top_p=0.95、top_k=20。