
【免费下载链接】RestoreFormerPlusPlus-fp32项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/RestoreFormerPlusPlus-fp32点击查看免费下载本文完整解析RestoreFormerPlusPlus-fp32——一个专为 Apple Silicon 优化的 MLX 人脸修复模型它结合系统级 Vision 人脸检测、512×512 人脸对齐裁剪与 fp32 精确推理帮助你在 Mac 上快速完成模糊人脸、老照片的人脸修复与结果贴回。 RestoreFormerPlusPlus-fp32 是什么RestoreFormerPlusPlus-fp32 源自 TPAMI 2023 论文RestoreFormer盲人脸修复模型已被转换为MLX NHWC safetensors格式可直接在 Apple Silicon 芯片上高效运行。核心规格一览项目说明参数量73,472,579441 个张量精度fp32全程确定性输出架构VQVAEGANMultiHeadTransformer输入512×512 对齐人脸裁剪图RGB 归一化到 [-1, 1]许可证Apache-2.0其内部采用VQ-GAN 编码器/解码器配合 1024×256 的 ROHQD 码本并通过多尺度多头交叉注意力编码器 16 尺度、解码器 [16, 32] 尺度恢复人脸高频细节是处理模糊、低清人脸的有力工具。 模型说明详见 README.md完整模型权重文件位于 model.safetensors。 如何获取模型文件仓库中的大文件通过 Git LFS 管理由 .gitattributes 配置model.safetensors实际约 281 MB克隆时会自动拉取完整权重git clone https://gitcode.com/hf_mirrors/mlx-community/RestoreFormerPlusPlus-fp32克隆后只需关注两个核心文件README.md架构、精度对比与使用方式说明model.safetensorsMLX NHWC 布局的 fp32 权重441 个张量权重键名与上游 PyTorch state dict 保持镜像关系前缀已剥离方便与参考实现对齐验证。 三步流水线全解析检测 → 对齐 → 贴回RestoreFormerPlusPlus-fp32 的推荐消费方式是 Swift 包mlx-restoreformer-swift由两部分协作完成RestoreFormerMLXCore.RestoreFormer负责 MLX 模型推理MLXRestoreFormer.RestoreFormerRestorePackage封装MLXEngine的imageRestore能力并提供基于Vision的检测/对齐/贴回流程整条流水线可以分为三个阶段。第一步Vision 人脸检测Detect流水线起点调用 macOS 原生Vision框架从整张照片中定位人脸区域与关键点。相比额外部署一套检测模型Vision 是系统级能力零额外依赖、开箱即用适合快速搭建人脸修复应用。这一步的输出是每个人脸的边界框与关键点集合为后续对齐提供几何基础。第二步人脸对齐与裁剪Align这是修复质量的关键。模型只接受512×512 的对齐人脸裁剪图根据关键点计算仿射变换将人脸摆正水平眼睛、统一尺度裁剪出 512×512 的人脸区域像素归一化到RGB [-1, 1]区间送入模型 对齐做得越准修复后贴回原图就越自然——这是对齐环节值得单独强调的原因。第三步MLX 推理与结果贴回Restore Paste Back对齐后的人脸送入RestoreFormer进行 fp32 推理VQ-GAN 编码、码本查表256 个索引、解码重建依次完成随后将修复结果按同一仿射变换的逆矩阵**贴回paste back**原图并对接缝区域做融合得到最终的人脸修复图片。原图 → Vision 检测 → 对齐裁剪(512×512) → MLX 推理 → 逆变换贴回 → 修复结果⚙️ 为什么坚持 fp32精度实测对比人脸修复对数值精度非常敏感README 中给出了不同数据类型的实测对比以 fp32 金标准为基准数据类型相对 fp32 的 PSNR结论fp32—金标准完全确定fp1650.1 dB可用误差极低bf1638.6 dB受尾数位数限制明显劣于 fp16选择 fp32 的直接原因解码器后段激活值可达到±14k量级bf16 的 8 位尾数无法承载这种动态范围会引入肉眼可见的失真。若显存/带宽紧张fp16 是经过验证的降级选项。✅ 模型一致性验证与 PyTorch 参考实现对比该模型并非简单改名换格式而是做了严格的对等性验证关键契约441/441 个张量全部匹配分阶段探针40/40 个采样点相对误差 ≤ 5e-4fp32CPU 流码本索引256/256 完全一致这意味着 MLX 版与官方 PyTorch 版在数学行为上高度一致修复结果可预期、可复现。⚖️ 许可证与使用注意模型权重为Apache-2.0无第三方权利保留条款上游模型在FFHQ数据集上训练该数据集的编译协议为 CC-BY-NC-SA训练数据协议是否传导到权重仍是业界未完全定论的问题商业使用前建议评估自身产品的合规风险❓ 常见问题FAQQ1RestoreFormerPlusPlus-fp32 支持哪些设备面向 Apple SiliconM 系列芯片的 Mac依赖 MLX 框架推理Swift 端通过mlx-restoreformer-swift消费。Q2输入图片有什么要求流水线会自动完成检测与对齐只需提供含人脸的原图模型内部输入为 512×512 对齐裁剪、RGB 值域 [-1, 1]。Q3fp16 可以省多少资源fp16 相对 fp32 金标准 PSNR 达 50.1 dB误差极低是资源受限时的可行选择bf1638.6 dB不建议用于该模型。 小结RestoreFormerPlusPlus-fp32 把 TPAMI 2023 的盲人脸修复模型完整搬上了 Apple SiliconVision 负责检测、仿射对齐保证输入规范、MLX fp32 保证精度与确定性、逆变换贴回还原构图。对希望在 Mac 上做人脸修复、老照片美化或图像修复应用开发的开发者来说这是一条从原图到成品的完整可落地流水线。模型与使用说明README.md权重文件LFSmodel.safetensorsLFS 配置.gitattributes赞分享【免费下载链接】RestoreFormerPlusPlus-fp32项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/RestoreFormerPlusPlus-fp32点击查看免费下载相关推荐photo2cartoon实战人脸检测、对齐与分割全流程详解想要将真实照片变成可爱的卡通头像吗photo2cartoon项目为你提供了完整的解决方案这个开源项目通过先进的人脸检测、对齐和分割技术让普通人也能轻松实现人工智能计算机视觉深度学习媒体生成大疆无人机国标接入GB28181播不了流三层排查法配置清单讲透大疆无人机国标接入GB28181播不了流三层排查法配置清单讲透 WVP GB28181 Pro 上大疆无人机注册上了、状态也是在线可一点播放就转圈超时—音视频后端物联网视频MTCNN人脸检测对齐与其他实现对比C、Python、Pytorch版本全解析MTCNN人脸检测对齐与其他实现对比C、Python、Pytorch版本全解析 MTCNNMulti task Cascaded Convolution上一篇智能学术效率加速器自动化投稿追踪系统的颠覆性创新下一篇3步解锁科研效率工具Elsevier Tracker让学术投稿跟踪不再繁琐创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考