人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载GLM-5.3-Quark-MXFP4-AttnFP8 是 AMD 官方发布的 GLM-5.3 大语言模型量化版本它使用 AMD-Quark 工具链将模型的 MoE 专家层量化为 MXFP44 位微缩放格式同时把注意力层单独量化为 FP8形成一套混合量化方案。对正在为大模型显存压力发愁的工程师来说这套方案几乎以可忽略的精度损失换来了约 4 倍的权重压缩是理解大模型量化落地的一篇典型样本。一、为什么大模型需要混合量化 大模型推理的第一道门槛是显存以 bf1616 位存储的 GLM-5.3 拥有 78 层、每层 256 个路由专家每 token 激活 8 个的 MoE 架构完整权重动辄数百 GB单卡难以承载。**量化Quantization**就是答案用更少的比特表示权重和激活。但这里有个两难方案压缩比风险全部保持 bf161×显存吃紧全部压到 4 位MXFP4~4×敏感层精度骤降输出质量崩坏混合量化本仓库做法接近 4×敏感层留后路精度损失可控混合量化的核心思想很简单不是所有层都一样耐压缩。MoE 专家层参数数量庞大但单参数贡献分散是压缩收益最大的地方而注意力、路由等层数量少却直接影响语义表达需要更高精度保护。二、MXFP44 位权重是怎么做到的MXFP4 属于MXMicroscaling格式家族可以理解为带共享标尺的 4 位数每 32 个数值为一组group_size: 32组内共享一个指数标尺scale_format: e8m0即 8 位纯指数组内每个数值只用 4 位存储精度损失由共享标尺兜底权重与激活统一采用该格式推理时无需反量化到高精度这套配置的完整定义可以直接在 config.json 的global_quant_config中查看dtype: fp4、group_size: 32、scale_format: e8m0、round_method: half_even。按 4 位计MXFP4 权重体积约为 bf16 的1/4——这正是显存减半再减半的来源。三、AttnFP8注意力层为什么单独用 8 位打开 config.json 的layer_quant_config可以看到共439 个注意力投影层被单独配置为fp8_e4m38 位浮点按 128×128 分块量化覆盖q_a_proj/q_b_proj/kv_a_proj_with_mqa/kv_b_projQuery 与 Key/Value 投影o_proj注意力输出投影indexer.wq_b/indexer.wk稀疏注意力索引器中的投影层FP8 相比 FP4 多出 4 位动态范围对数值波动敏感的注意力点积运算更友好而它相比 bf16 仍能再省一半显存且 MI350/MI355 上的矩阵核有原生 FP8 加速。这就是命名中Quark-MXFP4-AttnFP8的含义主体 4 位 注意力 8 位的双轨制。四、被豁免的层哪些保持原始精度并非所有层都参与量化。config.json 的exclude列表列出了保持 bf16 原精度的层层作用为什么保留高精度lm_head输出词表投影直接影响最终 token 概率分布embed_tokens词嵌入输入侧锚点误差会被全网络放大mlp.gateMoE 路由门控路由是离散决策4 位量化极易选错专家eh_proj、indexer.weights_proj嵌入头与索引器投影辅助索引计算对精度敏感这种重灾区压、敏感区保的分层策略是混合量化方案敢把主体压到 4 位的底气。五、量化是怎么执行的一键脚本该模型由 zai-org/GLM-5.3 出发通过 AMD-Quark 的 PTQ训练后量化脚本quantize_quark.py生成核心参数见 README.md--quant_scheme mxfp4全局 MXFP4 方案--exclude_layers排除*self_attn*、*lm_head、*embed_tokens、*eh_proj、*mlp.gate注意力层随后单独走 FP8 分块量化--file2file_quantization按 safetensors 文件逐一转换141 个分片对应输出 model-00001-of-00141.safetensors 等权重文件映射关系记录在 model.safetensors.index.json 中六、精度实测GSM8K 掉分不到 1 个点 量化是否翻车看基准评测最直观。AMD 使用lm-evaluation-harness在 GSM8K 上对比了原模型与量化模型README.md模型GSM8K (flexible-extract)精度恢复率GLM-5.3原模型91.89—GLM-5.3-Quark-MXFP4-AttnFP891.2899.34%以 4 位权重换 0.61 个点的数学基准损失基本可以认为是量化方案的免费午餐。复现命令与所需环境变量VLLM_ROCM_USE_AITER1等完整记录在 README.md。七、部署要点vLLM AMD MI350 系列模型面向AMD MI350/MI355硬件基于 ROCm 7.1.1 与 vLLM 推理引擎部署加载时指定quantizationquark即可让 vLLM 自动识别仓库中的量化配置export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FP8BMM0 export VLLM_ROCM_USE_AITER_FP4BMM0关键加载参数pretrainedamd/GLM-5.3-Quark-MXFP4、tensor_parallel_size4、quantizationquark、max_model_len32768。采样参数如temperature: 1.0、top_p: 0.95定义在 generation_config.json。八、文件导读快速定位关键资料项目说明与量化/部署流程README.md量化配置核心全局 MXFP4 逐层 FP8 豁免清单config.json权重分片索引model.safetensors.index.json生成参数generation_config.json对话模板chat_template.jinja总结GLM-5.3-Quark-MXFP4-AttnFP8 给出的是一套清晰的工程范式大参数量的 MoE 专家层 → MXFP4拿到接近 4 倍的显存压缩敏感注意力层 → AttnFP88 位精度保住语义表达路由、嵌入、词表投影 → 原精度豁免守住质量底线。三层各司其职最终在 GSM8K 上保留了 99.34% 的精度——如果你也在评估 AMD GPU 上的 MoE 大模型量化方案这套MXFP4 AttnFP8组合值得直接参考。赞分享人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载相关推荐MXFP4与FP8混合量化是什么Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8的5层量化策略逐层拆解MXFP4与FP8混合量化是什么Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8的5层量化策略逐层拆解 Qwen3.AMD多模态推理新标杆Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8模型全面解读一文读懂MXFP4FP8混合量化AMD多模态推理新标杆Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8模型全面解读一文读懂MXFP4FP8混合量量化损失有多大Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8在GSM8K上99.3%精度恢复率实测量化损失有多大Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8在GSM8K上99.3%精度恢复率实测 量化模型的精度上一篇Rivet Rust SDK 数据节点查询指南使用 DatacentersApi 的 datacenters_list 接口下一篇k-skill bunjang-search 第三方商标使用法律声明解读功能描述性使用与商标侵权的边界创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MXFP4 + AttnFP8混合量化原理解析：GLM-5.3-Quark-MXFP4-AttnFP8如何兼顾显存与精度
人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载GLM-5.3-Quark-MXFP4-AttnFP8 是 AMD 官方发布的 GLM-5.3 大语言模型量化版本它使用 AMD-Quark 工具链将模型的 MoE 专家层量化为 MXFP44 位微缩放格式同时把注意力层单独量化为 FP8形成一套混合量化方案。对正在为大模型显存压力发愁的工程师来说这套方案几乎以可忽略的精度损失换来了约 4 倍的权重压缩是理解大模型量化落地的一篇典型样本。一、为什么大模型需要混合量化 大模型推理的第一道门槛是显存以 bf1616 位存储的 GLM-5.3 拥有 78 层、每层 256 个路由专家每 token 激活 8 个的 MoE 架构完整权重动辄数百 GB单卡难以承载。**量化Quantization**就是答案用更少的比特表示权重和激活。但这里有个两难方案压缩比风险全部保持 bf161×显存吃紧全部压到 4 位MXFP4~4×敏感层精度骤降输出质量崩坏混合量化本仓库做法接近 4×敏感层留后路精度损失可控混合量化的核心思想很简单不是所有层都一样耐压缩。MoE 专家层参数数量庞大但单参数贡献分散是压缩收益最大的地方而注意力、路由等层数量少却直接影响语义表达需要更高精度保护。二、MXFP44 位权重是怎么做到的MXFP4 属于MXMicroscaling格式家族可以理解为带共享标尺的 4 位数每 32 个数值为一组group_size: 32组内共享一个指数标尺scale_format: e8m0即 8 位纯指数组内每个数值只用 4 位存储精度损失由共享标尺兜底权重与激活统一采用该格式推理时无需反量化到高精度这套配置的完整定义可以直接在 config.json 的global_quant_config中查看dtype: fp4、group_size: 32、scale_format: e8m0、round_method: half_even。按 4 位计MXFP4 权重体积约为 bf16 的1/4——这正是显存减半再减半的来源。三、AttnFP8注意力层为什么单独用 8 位打开 config.json 的layer_quant_config可以看到共439 个注意力投影层被单独配置为fp8_e4m38 位浮点按 128×128 分块量化覆盖q_a_proj/q_b_proj/kv_a_proj_with_mqa/kv_b_projQuery 与 Key/Value 投影o_proj注意力输出投影indexer.wq_b/indexer.wk稀疏注意力索引器中的投影层FP8 相比 FP4 多出 4 位动态范围对数值波动敏感的注意力点积运算更友好而它相比 bf16 仍能再省一半显存且 MI350/MI355 上的矩阵核有原生 FP8 加速。这就是命名中Quark-MXFP4-AttnFP8的含义主体 4 位 注意力 8 位的双轨制。四、被豁免的层哪些保持原始精度并非所有层都参与量化。config.json 的exclude列表列出了保持 bf16 原精度的层层作用为什么保留高精度lm_head输出词表投影直接影响最终 token 概率分布embed_tokens词嵌入输入侧锚点误差会被全网络放大mlp.gateMoE 路由门控路由是离散决策4 位量化极易选错专家eh_proj、indexer.weights_proj嵌入头与索引器投影辅助索引计算对精度敏感这种重灾区压、敏感区保的分层策略是混合量化方案敢把主体压到 4 位的底气。五、量化是怎么执行的一键脚本该模型由 zai-org/GLM-5.3 出发通过 AMD-Quark 的 PTQ训练后量化脚本quantize_quark.py生成核心参数见 README.md--quant_scheme mxfp4全局 MXFP4 方案--exclude_layers排除*self_attn*、*lm_head、*embed_tokens、*eh_proj、*mlp.gate注意力层随后单独走 FP8 分块量化--file2file_quantization按 safetensors 文件逐一转换141 个分片对应输出 model-00001-of-00141.safetensors 等权重文件映射关系记录在 model.safetensors.index.json 中六、精度实测GSM8K 掉分不到 1 个点 量化是否翻车看基准评测最直观。AMD 使用lm-evaluation-harness在 GSM8K 上对比了原模型与量化模型README.md模型GSM8K (flexible-extract)精度恢复率GLM-5.3原模型91.89—GLM-5.3-Quark-MXFP4-AttnFP891.2899.34%以 4 位权重换 0.61 个点的数学基准损失基本可以认为是量化方案的免费午餐。复现命令与所需环境变量VLLM_ROCM_USE_AITER1等完整记录在 README.md。七、部署要点vLLM AMD MI350 系列模型面向AMD MI350/MI355硬件基于 ROCm 7.1.1 与 vLLM 推理引擎部署加载时指定quantizationquark即可让 vLLM 自动识别仓库中的量化配置export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FP8BMM0 export VLLM_ROCM_USE_AITER_FP4BMM0关键加载参数pretrainedamd/GLM-5.3-Quark-MXFP4、tensor_parallel_size4、quantizationquark、max_model_len32768。采样参数如temperature: 1.0、top_p: 0.95定义在 generation_config.json。八、文件导读快速定位关键资料项目说明与量化/部署流程README.md量化配置核心全局 MXFP4 逐层 FP8 豁免清单config.json权重分片索引model.safetensors.index.json生成参数generation_config.json对话模板chat_template.jinja总结GLM-5.3-Quark-MXFP4-AttnFP8 给出的是一套清晰的工程范式大参数量的 MoE 专家层 → MXFP4拿到接近 4 倍的显存压缩敏感注意力层 → AttnFP88 位精度保住语义表达路由、嵌入、词表投影 → 原精度豁免守住质量底线。三层各司其职最终在 GSM8K 上保留了 99.34% 的精度——如果你也在评估 AMD GPU 上的 MoE 大模型量化方案这套MXFP4 AttnFP8组合值得直接参考。赞分享人工智能大模型基础模型模型量化模型优化【免费下载链接】GLM-5.3-Quark-MXFP4-AttnFP8项目地址https://ai.gitcode.com/hf_mirrors/amd/GLM-5.3-Quark-MXFP4-AttnFP8点击查看免费下载相关推荐MXFP4与FP8混合量化是什么Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8的5层量化策略逐层拆解MXFP4与FP8混合量化是什么Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8的5层量化策略逐层拆解 Qwen3.AMD多模态推理新标杆Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8模型全面解读一文读懂MXFP4FP8混合量化AMD多模态推理新标杆Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8模型全面解读一文读懂MXFP4FP8混合量量化损失有多大Qwen3.8-Flash-Next-Quark-MXFP4-AttnFP8-PLEFP8在GSM8K上99.3%精度恢复率实测量化损失有多大Qwen3.8 Flash Next Quark MXFP4 AttnFP8 PLEFP8在GSM8K上99.3%精度恢复率实测 量化模型的精度上一篇Rivet Rust SDK 数据节点查询指南使用 DatacentersApi 的 datacenters_list 接口下一篇k-skill bunjang-search 第三方商标使用法律声明解读功能描述性使用与商标侵权的边界创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考