去年年中我接手了一个让人又爱又恨的任务给定一张普通照片要恢复出照片里那个人和TA手中、身下、脚边物体的三维形态。人好办物体也还好办难的是“人和物体叠在一起”这件事本身。你一眼能看出一个人坐在椅子上、伸手够杯子但让算法从一张二维图像里同时猜出人体姿态、物体形状、双方接触关系还得保证两者不互相穿透这中间有一堆靠拍脑袋解决不了的细节。这个项目我们内部代号叫PICO主题就是单张图像重建HOIHuman-Object Interaction人与物体交互。在往下展开之前先说清楚这篇文章适合谁。如果你在做三维视觉、AR/VR内容制作、具身智能仿真或者只是对单目3D重建感兴趣都可以参考。我不会只贴一张效果图完事而是把pipeline怎么设计、损失函数怎么调、数据怎么搞、坑怎么踩从头到尾讲一遍。想看理论和想看实操的人都能找到对应段落。1. 单张图像重建HOI到底难在哪1.1 单目重建的家底人体和物体各自都有成熟方案单目三维人体重建的路子近十年基本稳定先用2D关键点检测器从图像里找出人体关键点再拿一个参数化人体模型去拟合让渲染出来的形状投回2D时和检测到的2D关键点、人体分割掩码对得上同时加姿态先验防止出现反人类的扭曲。这套“2D观测约束参数化模型先验”的组合在单人、无遮挡、画面干净的场景下已经相当能打。单目物体重建也有自己的套路给定物体类别从图像中估计类别、位姿和尺寸再套上模板网格或者生成式模型。甚至对于室内场景还有一批基于预训练深度大模型的方法直接回归出整个房间的三维结构。但这两条线通常各玩各的人体方法输出的就是一个人体mesh物体方法输出的是一个物体mesh。它们之间没有关系没有接触没有遮挡没有谁支撑谁。单独跑起来没问题一旦要求输出“人和物体在同一个三维空间里、以合理的交互状态共存的场景”麻烦立刻成倍增加。1.2 交互带来的三个麻烦遮挡、深度歧义、物理合理性人和物体一接触三个麻烦就同时冒出来。第一个是相互遮挡。人的手臂可能被杯子挡住膝盖可能被椅子挡住反过来物体也可能被人的身体挡掉一大半。关键点检测一旦漏了局部单独拟合人体就容易飘。更麻烦的是物体被遮挡的部分在2D图像上完全没有信息记住“这里缺了一块”本身就是一个需要模型显式处理的事情但大多数单目方法默认输入是完整可见的。第二个是深度歧义。同一个2D画面里物体可以在人身前也可以在人身后。纯几何投影损失无法区分“手在杯子前面”和“手在杯子后面”。很多方法收敛到的结果从自己的相机视角看完全正确但换个视角就露馅——杯子跑到人的背后去了可图像里明明看到杯沿压着手臂。第三个是物理合理性。坐在椅子上的人臀部必须落在椅面上抱着的球手掌必须包着球的外表面。如果你只是分别重建人和物体出来的很可能是“人悬空坐在椅子上方”或者“手掌和球互相交叉”。所谓合理性不只是说几何上不穿透还包括接触部位符合日常经验。只要有一个手指插进杯子里人眼一眼就能发现根本不需要专业训练。所以我一直觉得HOI重建的核心不只是“把人和物体各自重建出来”而是“把交互关系也重建出来”。后者才是真正拉开难度的地方。1.3 把交互拆成接触、遮挡、支撑三类可计算约束交互是一个很模糊的词落地到代码必须把它拆成可以被数学表达的东西。我们习惯拆成三件接触、遮挡、支撑。接触解决“哪些几何区域应该贴在一起”遮挡解决“深度上谁在前谁在后”支撑可以看作接触的一种特殊形式额外带上力学语义——比如坐着时人的重量通过臀部传递到椅面。好消息是对大多数常见交互支撑性和接触性高度相关所以很多方法并不显式建模力学而是用接触约束把两者“拉近”。PICO也沿用了这个思路用一个接触感知的约束头预测人体mesh表面和物体mesh表面之间的接触区域再把这部分拉近其余部分推开。遮挡则单独用一个深度顺序一致性约束处理后面我会详细展开。先记住一个结论HOI问题的求解本质上就是这三组约束的联合求解。2. 为什么PICO选择“先独立再联合”这条路线2.1 端到端体积回归的诱惑与陷阱设计一个HOI重建方案第一个摆在桌面上的问题是用什么形式表达结果有两个大方向直接回归体素或者TSDF场或者用参数化模型拟合。端到端回归体素看起来更酷一张图进去一个三维场出来中间不需要任何人类先验。我见过不少团队一开始都走这条路觉得“让模型自己学到交互模式”。但实际效果被两个问题卡死。第一个是标注数据量。HOI的三维真值标注极其稀缺因为要同时标注人体姿态、物体形状、接触关系成本远高于标2D框。体素回归是像素级预测任务没有海量带真值的数据根本学不动。第二个是数据分布太稀疏。交互场景变化极大椅子可以出现在客厅、办公室、街头坐着的人姿态千奇百怪抱猫、拿书、撑伞、骑车……在高维空间里这些都是非常稀疏的样本点。直接学一个体素生成器很容易在训练集上过拟合测试时稍微遇到一种新交互形式就崩。参数化方案则把问题分层人体姿态用SMPL这类体模型表达物体用类别模板位姿表达。这样虽然上限受限于模板库但每个子问题都有成熟的2D监督可以利用鲁棒性明显好。PICO最终采用的是“先独立初始化、再联合优化”的混合思路第一步把人体和物体各自估计出来第二步在同一个优化问题里同时改进两者让接触约束和遮挡关系参与进来。这个选择不是因为它看起来新颖而是因为它在实际算力、数据、稳定性的三重约束下是性价比最高的方案。2.2 人体侧参数化体模型为什么绕不开做人体重建绕不开SMPL这类参数化体模型。可以把SMPL理解成一个可微分的人体变形器输入姿态参数θ和形状参数β输出一个带顶点坐标的人体三角网格。θ控制关节旋转β控制高矮胖瘦。一个普通成年人的人体表面有几万个顶点直接预测每个顶点的坐标是浪费自由度而且很容易预测出非人的形状但通过θ和β你能把这些顶点压缩到一个低维流形里而且这个流形上的每个点都对应一个合理的、像人的mesh。之所以大家都用这类参数化模型另一个关键原因是它天然连着梯度。θ、β经过mesh生成、顶点变换、可微渲染、投影误差整个链条都是可微的梯度可以从2D像素一路传回姿态参数。你在做接触损失、碰撞惩罚时也是在直接优化这个低维姿态空间比起优化几万个顶点坐标稳定性和收敛速度都不可同日而语。PICO在人体初始化阶段用的是一个多任务的人体估计器同时输出2D关键点、分割掩码和初步的θ、β。拿到初始θ、β后把mesh渲染出来和原图做对齐这一步主要是为了给后面的联合优化提供一个不差的起点。这里有个经验初始化的质量决定后面一切。如果初始化姿态偏了30度后面的接触损失会非常激进地把手臂拽向物体最后得到一个扭曲的中间值。所以宁可初始化弱一点也要先在2D层面保证大致的布局。2.3 物体侧类别模板加六自由度位姿不追求形状精细物体没有像SMPL那样统一的人体先验因为物体形状千差万别。但观察HOI常见场景会发现交互中出现的物体类别其实相对集中椅子、桌子、滑板、球、杯子、箱子、手机、书本……这就给类别级模板方案提供了空间。对图像中的物体先做2D检测和类别分类再在该类别的模板网格上估计一个全局位姿也就是旋转矩阵R和平移向量t再加上一个统一的尺度缩放s。这里要泼一盆冷水物体模板的形状不需要太精细。因为单目图像本身丢失了大量三维细节杯子把手有没有、椅子扶手曲线什么样在像素层面很难恢复。PICO用的是相对简化的模板重点放在位姿和尺度上——换句话说先把“这个物体在哪里、有多大、朝向什么方向”搞对形状细节留给后续的网格细化模块去做。这个细化模块可以是一个独立的形状变形网络输入初始位姿和图像特征输出顶点偏移量。实验下来对比直接预测精细形状先粗定位再细化的方式在接触准确率上提升了接近三成因为初始位姿对了接触约束才能生效细化才有正确的前置条件。物体尺度估计是HOI最容易翻车的一环。单目图像里一个远处的篮球和近处的网球在2D上可能一样大前者需要的平移深度和尺度完全不同。PICO的处理是引入人体作为尺度锚点利用已经在图像上检出的2D人体框和估计出的身体尺寸约束物体尺度躲在一个与人类常识匹配的范围内。试想一个成年人身侧的包被重建得比人还大一眼就不对劲。这个先验简单粗暴但在实际项目里帮我们挡住了大量离谱结果。2.4 遮挡推理单目里最容易被忽视的一环遮挡关系在单目里是隐式的因为图像只记录了从相机视角看到的可见表面。但我们可以从图像观测中提取线索谁在谁的轮廓边缘上切过谁在画面上被谁盖住。PICO的做法是把人体和物体分别渲染出深度图对比两者在重叠区域的深度顺序再和图像里观测到的遮挡模式做比对。如果图像里人的手遮挡了杯子的下沿而当前重建结果里杯子深度在人前面那就会被一个遮挡一致性损失纠正。这个模块看着小实际非常关键。我们做过消融实验把遮挡项从损失里拿掉之后联合优化比之前更容易收敛到“物体的真实位置在人的另一侧”这种自洽但错误的解。原因是接触损失和投影损失在优化过程中协同作用下可能找到一个在2D上完美一致、但3D上是左右翻转的镜像解。有了遮挡约束模型被迫选择与实际可见性一致的深度排序这类错误解基本被压掉。3. 损失函数设计接触、穿透、遮挡怎么平衡3.1 三大损失线数据项、先验项、交互项联合优化的整体目标可以拆成三组。第一组是数据一致项人体关键点的2D重投影误差、人体掩码误差、物体2D框与掩码误差。第二组是正则项姿态先验、形状先验、物体尺度的均匀先验。第三组是交互项接触、穿透、遮挡。一个典型的优化目标大致是L_total λ1*L_kp2d λ2*L_mask λ3*L_contact λ4*L_penetration λ5*L_prior用这组损失之前要做几件事配好每个损失的权重确定优化顺序先人体后物体还是联合优化控制学习率防止某一项梯度太大把姿态拉飞。我们实验里最常见的失败是λ4穿透惩罚开太大直接把人的膝盖怼出椅子表面代价是姿态扭曲成诡异角度。权重该怎么定我有个笨办法先在测试图上把每一项单独加上观察它对输出mesh的影响方向和幅度。比如单独加λ4如果输出立刻“僵住”——所有人都不敢靠近物体——那就说明它太大了。反过来单独加λ3如果输出里人和物体几乎贴成一体说明接触权重过大出现了“过度拥抱”现象。把每个单项调到“有作用但不抢戏”的状态再组合起来微调。这个流程大概需要一到两周。3.2 接触损失的具体实现与加权技巧接触损失的本质是“预测哪些点对应该接近再把它们拉近”。PICO里有一个接触映射预测头输入人体mesh顶点特征和物体mesh顶点特征输出一个接触置信度矩阵表示人体顶点i与物体顶点j在交互中发生接触的概率。有了置信度接触损失就可以写成加权距离def contact_loss(verts_h, verts_o, confidence): # verts_h: [Vh, 3], verts_o: [Vo, 3] dist torch.cdist(verts_h, verts_o) # [Vh, Vo] # 只惩罚高置信度且距离过大的点对 mask (confidence 0.5) (dist 0.03) if mask.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (confidence * dist)[mask].mean() return loss这段代码看着简单但有一个非常实际的坑如果直接用所有点对的距离均值会被大量无关点对稀释。一个杯子和一个完整的人体之间可能有几万个点对真正接触的点也许只占百分之几。如果不做筛选损失会被绝大多数无关点对的零距离淹没训练时梯度信号非常弱。我们实验里试过两种筛选方式。一种是阈值筛选只保留置信度大于0.5的点对参与计算收敛稳定但初期慢因为初始置信度普遍低另一种是top-k采样每次取距离最近的前k个点对参与计算初期收敛快因为梯度集中在最有希望的候选对上。两个方案最终效果接近但top-k在调试初期更友好——你能直观看到“模型正在尝试抓住哪一块区域”。后期建议切回阈值加权精度更细腻。还有一个细节值得提接触距离的阈值0.03米不是拍脑袋写的它取决于mesh的顶点密度。如果人体mesh平均边长接近2厘米那么两个mesh表面点距离小于3厘米就可以认为已经“贴上了”。你要是用一个顶点稀疏的模板阈值要相应放大否则模型永远追不上目标损耗就一直在。3.3 穿透惩罚法向“推出去”和SDF两种做法对比接触是把该贴的贴上穿透则是把不该穿的推开。判断“穿了没有”不能只看顶点距离要看物体表面的法向。一个常见做法是对每个穿透的人体顶点计算物体表面最近点以及该点法向如果人体顶点在物体内部就沿着法向推出去惩罚量正比于侵入深度。我推荐用符号距离函数也就是把物体表达成一个SDF场查询任意一个三维点输出它的有符号距离正数表示在物体外部负数表示在物体内部绝对值是到表面的距离。穿透损失就可以非常自然地写成def penetration_loss(verts_h, sdf_query_fn): # 把人体顶点输入物体的SDF返回负数表示内部 sdf_vals sdf_query_fn(verts_h) # [Vh] inside sdf_vals 0 if inside.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (-sdf_vals[inside]).square().mean() return loss这里的SDF不需要真的训一个网络实践中用模板mesh的最近点距离近似即可把每个顶点投影到物体mesh表面用射线和法向的符号判断顶点在表面哪一侧。这个近似足够用来惩罚典型的大尺度穿透比如整只手插入杯壁、半个臀部陷入椅面。但对于指尖嵌入表面这种毫米级穿透效果有限建议后期换用更精确的几何碰撞库做精修。说到底接触和穿透天生是一对矛盾接触项在推近穿透项在推远。如果两个损失的权重匹配不好模型就会在“差一点点没贴上”和“刚好贴上但深入了”之间来回震荡。我们最后采用的策略是给穿透项加一个软边际只惩罚深入超过1厘米的部分1厘米以内不管。这样既允许轻微的、不可见的侵入又能压制大的几何错误训练稳定非常多。3.4 交替优化与联合优化的节奏控制这是实操里绕不开的问题。联合优化同时更新人体θ、β和物体R、t、s理论上更优雅但梯度来源复杂容易陷入局部最优尤其当初始姿态偏差较大时接触损失会把整个手臂拽到杯子上姿态瞬间崩坏。交替优化则把问题拆成两步固定物体优化人体固定人体优化物体循环若干轮。交替更稳因为每一步的子问题更简单、梯度更干净。PICO实测下来初始化的那几轮必须用交替优化等姿态和物体位姿大致合理后再用联合优化做精调。这也是很多这类方法的通用套路如果你自己搭方案建议别一上来就端到端联合优化。具体节奏我们是这样调的前20步固定物体优化人体姿态让人的手、臀、脚去够物体的相应区域接着固定人体优化物体位姿和尺度让物体反过来贴合人的接触部位如此交替5轮每轮30步左右。粗调阶段结束后解除固定用联合优化再跑100步此时接触和穿透损失的权重可以适当调高让表面细节收敛。整张图的推理时间大约在10秒内主要花在可微渲染和迭代优化上。很多人以为优化步数越多越好实际上不是。单目问题本身存在模糊性优化的步数一旦过长模型会开始在2D掩码上过度拟合丢失姿态的合理性。我们发现150步以内是甜点区超过300步后穿透深度反而上升。这个现象后来我们理解了投影损失在整个目标里占比高为了让渲染出来的轮廓和图像完全重合模型倾向于把人体姿态拧成极端角度以补偿物体遮挡带来的信息缺失。所以适当提前停止反而是正则化的一种手段。4. 实操过程模型训练、推理与评测全流程4.1 环境搭建与渲染管线选型我们实验环境比较朴素PyTorch为基础渲染用Pyrender或自研的软光栅化器做可微渲染几何处理用trimesh额外用了一个轻量的SDF查询库处理穿透计算。显卡用的是中高端消费级卡单张图从初始化到精调完成大概几秒到十几秒推理时不需要非常大的显存。提示可微渲染是这类项目的重头。Pyrender本身不可微我们一般接一个soft rasterizer作为前向渲染器或者用PyTorch3D的可微渲染管道。如果你只想验证损失设计先用物理渲染器渲染出固定视角的图单独观察mesh形状是否合理再把渲染接到优化循环里。环境配置有一个容易踩的坑可微渲染库对CUDA版本和PyTorch版本的绑定非常严格版本不匹配会直接编译失败。我的建议是锁定一套已经互相验证过的版本组合不要在有多个显卡驱动的工作站上随便升级。我们团队有同事因为在一个版本杂乱的集群上装PyTorch3D前后折腾了两天最后在容器环境里才跑通。这个问题虽然看起来和算法无关但实际会吃掉大量项目时间。4.2 合成数据准备让接触标注免费HOI的真实标注数据非常贵。手动标注一个三维接触关系比标2D框要难得多所以在项目里我们主要依赖两条腿一部分是在公开的人-物交互数据集上训练另一部分是自制的渲染合成数据——把人体mesh和物体mesh摆成接触姿态用随机材质、随机光照、随机相机角度渲染出一批图像同时天然带有精确的接触标注和深度标注。合成数据解决标注问题真实数据解决域差异问题。做合成数据的细节值得说一句随机摆放时要刻意让一部分样本存在轻微穿透一部分样本存在轻微分离否则模型只见过完美接触的样本一旦真实图像里接触点略微错位接触推理就不稳。这其实是一个数据增强思想——人为引入一定范围的接触误差让模型学会在微扰下仍然输出正确的接触区域。我们最多的时候把一个交互动作渲染出200组不同视角、光照和背景的图像模型的泛化能力提升非常明显。在生成接触标注时要注意标注的粒度。接触不是一个二值属性而是有区域的手的整个掌面可能接触杯子但只有指腹接触杯把。我们的标注做法是给每个接触事件记录一个接触面积用于训练接触置信度的连续值版本而不是简单分类。这样接触头输出的置信度矩阵就有了平滑的梯度训练起来比0/1标签稳定得多。4.3 接触头的训练与端到端微调训练分成两个阶段。阶段一训练接触映射预测头输入人体mesh顶点特征和物体点云特征输出接触置信度用渲染合成数据的接触标注做监督。阶段二冻结接触头的部分层端到端微调整个重建模型让接触信息反过来影响人体姿态和物体位姿的预测。一个关键点是接触头的输入特征不只是几何坐标还包含2D图像上对应位置的颜色特征。为什么因为单靠几何无法区分“手在杯子前面还是后面”而颜色和纹理能提供遮挡线索——杯子遮挡手的那段边缘在图像上有清晰的轮廓特征。把2D特征对齐到3D顶点上再输入接触头是一个很有效的小技巧。具体做法是把图像放进一个浅层CNN得到每像素的特征向量然后根据相机投影把人体顶点和物体顶点分别投到图像上采样对应位置的特征拼接在坐标特征后面。实测这个操作能让接触预测准确率提升近10个百分点。训练时损失函数除了常规的交叉熵或MSE还要加一个空间平滑项。因为接触区域在mesh表面是成片出现的如果不对置信度做平滑输出往往像斑点一样零散优化时梯度杂乱。加入一个简单的拉普拉斯平滑项后接触区域变成连贯的块状后续的接触损失和穿透惩罚也能更稳定地作用。4.4 推理流程、参数配置与评测指标推理时输入一张图流程是检测人体和物体2D框 → 独立估计人体姿态和物体位姿 → 接触推理 → 联合优化若干轮 → 输出人体mesh和物体mesh附带接触标注。参数配置我整理了一个基线供参考人体初始化学习率1e-3联合优化阶段降到5e-4物体位姿学习率3e-3物体尺度学习率5e-4接触权重λ30.8穿透权重λ41.2优化轮次交替阶段5轮联合阶段100步掩码损失用L1而不是L2边界敏感度更高评测不能只看肉眼效果。我们常用的指标有四个指标计算方式说明Chamfer距离重建mesh与真值mesh顶点间双向最近点距离均值衡量几何精度掩码IoU重建mesh投影到2D与真值掩码的IoU衡量投影一致性接触准确率预测接触对的精度/召回衡量交互语义穿透深度人体顶点侵入物体内部的平均深度衡量物理合理性评测集要额外标注接触真值这个环节我们花了一周多最后发现最好的办法是找一批置信度高的合成测试图加人工抽检真实图兼顾自动化和可信度。人工抽检时我们总结了一套规则先看投影掩码是否贴合再看身体四肢是否出现反向折叠最后看手和物体的关系——手是悬空还是接触接触位置是否符合物体类别常识。这套规则后来被写成了团队的评测checklist新来的同学上手也快。5. 常见问题与排查实录5.1 关键点被遮挡姿态初始化崩坏把真实图片喂进去最常遇到的问题就是2D关键点检测在遮挡处失效尤其是“人坐椅子”这种场景臀部和膝盖有大半被椅面挡住检测器给出的置信度低初始化姿态直接跑偏。排查思路先单独跑人体姿态估计把2D关键点和投影后的3D骨架可视化确认哪几个关节置信度低。如果是遮挡导致的可以调整优化权重把低置信度关键点的监督权重降下来同时增加姿态先验的权重让模型更多依赖先验而不是被带偏的2D观测。如果实在不行有个土办法用检测器输出多个候选姿态假设每个假设各自走一遍联合优化最后选投影误差最小的结果。有点费算力但确实能救回一些难例。我们在PICO里还加了一个针对性的技巧用一个轻量的遮挡分割网络先标出图像里“什么东西挡住了人体的哪部分”然后在优化时把被遮挡区域的掩码损失权重直接降到接近0。这么做的好处是模型不会为了拟合被遮挡部分的轮廓而扭曲姿态它只需要保证可见部分的投影一致其余由姿态先验和接触约束兜底。5.2 物体尺度来回跳越调越离谱联合优化时物体尺度s和平移t经常互相补偿尺度变大一点平移朝远处挪一点投影出来的2D大小不变但3D结果变成一个“远处的大物体”。这是单目尺度-深度耦合的典型症状也叫scale-depth ambiguity。我们的解决办法是加了一个人体尺度锚定项。具体做法根据当前重建的人体mesh计算出关键的尺寸比如肩宽和手臂长作为参照系。然后把物体的尺度限制在与参照系合理匹配的区间内。比如一个人肩膀宽40厘米他手边的物体横跨尺寸超过1米那基本可以判定尺度预测错了直接把这个样本判为低置信度或者把物体尺度拉回区间内。再不行就在优化里固定物体尺度只优化位姿等人体姿态稳定后再放开尺度。这种“放弃一部分自由度换取稳定性”的思路在单目任务里是值得反复使用的。还有一个容易忽略的点物体检测的2D框不准会直接传导到尺度估计。我们曾经在测试集上一半物体的尺度过大最后排查发现是检测器对部分遮挡物体的边界框偏向宽松导致初始尺度偏大。后来在初始化时对物体框做了一次边缘紧缩——比例大约3%——尺度误差立刻降下来。这种问题不看数据分布光调损失是无法发现的。5.3 接触部位张冠李戴手里没抓到该抓的地方眼看接触项在起作用人和物体也不再穿透但仔细看手没放在杯柄上而是放在杯口上——接触置信度矩阵给出的语义区域完全错位。这通常是接触头的训练数据有问题合成数据里“手抓杯子”的接触区域太单一模型只记住了抓杯口这一类模式。对策是扩大合成数据的接触多样性同一个杯子让手从侧面、上方、斜下方都去抓一遍同一个姿态换不同形状的物体。我们还试过在接触置信度上加入类别约束比如属于“握柄类”的物体优先把手部顶点映射到手接触区域。效果有但有限核心还是数据多样性。调试这类问题最快的方法是直接把接触置信度矩阵可视化按置信度值给mesh顶点上色看预测的“热点”到底分布在哪些区域。有一次我们发现热点集中在大腿前侧而真值接触区在臀部下方原因就出在合成数据里坐姿样本生成时人体和椅面的接触采样是从mesh全局最近点出发的最近点落在大腿前侧而不是臀部。修正采样逻辑之后这个问题就消失了。“可视化接触热点”这一招我们后来一直在用凡是接触相关的bug先上色看图再找原因。5.4 损失一直降但渲染出来还是糊成一团还有一种情况是损失一直在降但mesh投影出去和原图对不上说明优化陷入了某个自洽但不合观测的局部最优。这时候先检查渲染的相机参数和检测框是否对得上再检查掩码损失是否真的在起作用。很多次问题出在一个小地方掩码损失用的是L2对边缘极其不敏感。一个只差两个像素的轮廓和一个完全对不上的轮廓L2值差别不大梯度也差不多模型学不到“往边上挪一点”的信号。换成一个边缘加权的距离项或者干脆只用轮廓边界像素计算距离效果会好非常多。另外相机内参错误是一个隐蔽的大坑。如果你的初始化代码里把焦距估计错了10%投影的物体轮廓会比实际偏大或偏小联合优化会努力用“错误尺度错误深度”去补偿最后收敛到一个数值上合理但视觉上完全不对的结果。所以每次跑新数据集先把一张已知真实深度分布的测试图走完整个流程确认相机内参对齐再开始大规模评测。这个检查只需要几分钟能省掉后面一整天的返工。5.5 一个容易被忽视的工程问题mesh顶点数量不一致接触损失和穿透损失都要计算人体mesh顶点与物体mesh顶点之间的关系而人体模板和物体模板的顶点数、面片密度往往差异巨大。比如人体模板有2万多个顶点一个简化的椅子模板可能只有2000个顶点。直接计算点对距离时人体侧的点密度远高于物体侧导致接触区域“人体一个点对物体多个点”的情况梯度传播时会偏向人体侧。我们的解决办法是对物体mesh做一次自适应细分让两个mesh在接触区域的顶点密度大致匹配。更规范的做法是用最近邻双向匹配并给每个点对乘上一个面积加权因子。如果你只是自己搭一个快速demo最简单的办法是先把两个mesh都采样成相同数量的点云再做后续计算。这个细节不解决接触损失会一直抖动而且越训越差表现非常迷惑。6. 一点个人体会跑这种项目最大的体会是真正耗时的不是网络结构而是数据和调试。HOI的合成数据生成看起来简单实际涉及接触采样、姿态合理过滤、遮挡多样性、域随机化每一步都要反复试损失函数那几项权重更是玄学我们调了一个多月才找到相对稳的组合。如果让我给后来人一个建议那就是别急着上完整方案先把最小闭环跑通单张简单图一个固定类别物体一个接触损失一把椅子先让它在不穿透的前提下把接触做对。把这一步做实了再往复杂场景、多类别、多样交互扩展路会顺很多。这个项目我们后续还在往视频序列上延伸加上时间一致性之后很多单目里的深度歧义会被自然消解那是另一个有趣的故事了。 单目图像重建HOI：人与物体交互的3D重建实战
去年年中我接手了一个让人又爱又恨的任务给定一张普通照片要恢复出照片里那个人和TA手中、身下、脚边物体的三维形态。人好办物体也还好办难的是“人和物体叠在一起”这件事本身。你一眼能看出一个人坐在椅子上、伸手够杯子但让算法从一张二维图像里同时猜出人体姿态、物体形状、双方接触关系还得保证两者不互相穿透这中间有一堆靠拍脑袋解决不了的细节。这个项目我们内部代号叫PICO主题就是单张图像重建HOIHuman-Object Interaction人与物体交互。在往下展开之前先说清楚这篇文章适合谁。如果你在做三维视觉、AR/VR内容制作、具身智能仿真或者只是对单目3D重建感兴趣都可以参考。我不会只贴一张效果图完事而是把pipeline怎么设计、损失函数怎么调、数据怎么搞、坑怎么踩从头到尾讲一遍。想看理论和想看实操的人都能找到对应段落。1. 单张图像重建HOI到底难在哪1.1 单目重建的家底人体和物体各自都有成熟方案单目三维人体重建的路子近十年基本稳定先用2D关键点检测器从图像里找出人体关键点再拿一个参数化人体模型去拟合让渲染出来的形状投回2D时和检测到的2D关键点、人体分割掩码对得上同时加姿态先验防止出现反人类的扭曲。这套“2D观测约束参数化模型先验”的组合在单人、无遮挡、画面干净的场景下已经相当能打。单目物体重建也有自己的套路给定物体类别从图像中估计类别、位姿和尺寸再套上模板网格或者生成式模型。甚至对于室内场景还有一批基于预训练深度大模型的方法直接回归出整个房间的三维结构。但这两条线通常各玩各的人体方法输出的就是一个人体mesh物体方法输出的是一个物体mesh。它们之间没有关系没有接触没有遮挡没有谁支撑谁。单独跑起来没问题一旦要求输出“人和物体在同一个三维空间里、以合理的交互状态共存的场景”麻烦立刻成倍增加。1.2 交互带来的三个麻烦遮挡、深度歧义、物理合理性人和物体一接触三个麻烦就同时冒出来。第一个是相互遮挡。人的手臂可能被杯子挡住膝盖可能被椅子挡住反过来物体也可能被人的身体挡掉一大半。关键点检测一旦漏了局部单独拟合人体就容易飘。更麻烦的是物体被遮挡的部分在2D图像上完全没有信息记住“这里缺了一块”本身就是一个需要模型显式处理的事情但大多数单目方法默认输入是完整可见的。第二个是深度歧义。同一个2D画面里物体可以在人身前也可以在人身后。纯几何投影损失无法区分“手在杯子前面”和“手在杯子后面”。很多方法收敛到的结果从自己的相机视角看完全正确但换个视角就露馅——杯子跑到人的背后去了可图像里明明看到杯沿压着手臂。第三个是物理合理性。坐在椅子上的人臀部必须落在椅面上抱着的球手掌必须包着球的外表面。如果你只是分别重建人和物体出来的很可能是“人悬空坐在椅子上方”或者“手掌和球互相交叉”。所谓合理性不只是说几何上不穿透还包括接触部位符合日常经验。只要有一个手指插进杯子里人眼一眼就能发现根本不需要专业训练。所以我一直觉得HOI重建的核心不只是“把人和物体各自重建出来”而是“把交互关系也重建出来”。后者才是真正拉开难度的地方。1.3 把交互拆成接触、遮挡、支撑三类可计算约束交互是一个很模糊的词落地到代码必须把它拆成可以被数学表达的东西。我们习惯拆成三件接触、遮挡、支撑。接触解决“哪些几何区域应该贴在一起”遮挡解决“深度上谁在前谁在后”支撑可以看作接触的一种特殊形式额外带上力学语义——比如坐着时人的重量通过臀部传递到椅面。好消息是对大多数常见交互支撑性和接触性高度相关所以很多方法并不显式建模力学而是用接触约束把两者“拉近”。PICO也沿用了这个思路用一个接触感知的约束头预测人体mesh表面和物体mesh表面之间的接触区域再把这部分拉近其余部分推开。遮挡则单独用一个深度顺序一致性约束处理后面我会详细展开。先记住一个结论HOI问题的求解本质上就是这三组约束的联合求解。2. 为什么PICO选择“先独立再联合”这条路线2.1 端到端体积回归的诱惑与陷阱设计一个HOI重建方案第一个摆在桌面上的问题是用什么形式表达结果有两个大方向直接回归体素或者TSDF场或者用参数化模型拟合。端到端回归体素看起来更酷一张图进去一个三维场出来中间不需要任何人类先验。我见过不少团队一开始都走这条路觉得“让模型自己学到交互模式”。但实际效果被两个问题卡死。第一个是标注数据量。HOI的三维真值标注极其稀缺因为要同时标注人体姿态、物体形状、接触关系成本远高于标2D框。体素回归是像素级预测任务没有海量带真值的数据根本学不动。第二个是数据分布太稀疏。交互场景变化极大椅子可以出现在客厅、办公室、街头坐着的人姿态千奇百怪抱猫、拿书、撑伞、骑车……在高维空间里这些都是非常稀疏的样本点。直接学一个体素生成器很容易在训练集上过拟合测试时稍微遇到一种新交互形式就崩。参数化方案则把问题分层人体姿态用SMPL这类体模型表达物体用类别模板位姿表达。这样虽然上限受限于模板库但每个子问题都有成熟的2D监督可以利用鲁棒性明显好。PICO最终采用的是“先独立初始化、再联合优化”的混合思路第一步把人体和物体各自估计出来第二步在同一个优化问题里同时改进两者让接触约束和遮挡关系参与进来。这个选择不是因为它看起来新颖而是因为它在实际算力、数据、稳定性的三重约束下是性价比最高的方案。2.2 人体侧参数化体模型为什么绕不开做人体重建绕不开SMPL这类参数化体模型。可以把SMPL理解成一个可微分的人体变形器输入姿态参数θ和形状参数β输出一个带顶点坐标的人体三角网格。θ控制关节旋转β控制高矮胖瘦。一个普通成年人的人体表面有几万个顶点直接预测每个顶点的坐标是浪费自由度而且很容易预测出非人的形状但通过θ和β你能把这些顶点压缩到一个低维流形里而且这个流形上的每个点都对应一个合理的、像人的mesh。之所以大家都用这类参数化模型另一个关键原因是它天然连着梯度。θ、β经过mesh生成、顶点变换、可微渲染、投影误差整个链条都是可微的梯度可以从2D像素一路传回姿态参数。你在做接触损失、碰撞惩罚时也是在直接优化这个低维姿态空间比起优化几万个顶点坐标稳定性和收敛速度都不可同日而语。PICO在人体初始化阶段用的是一个多任务的人体估计器同时输出2D关键点、分割掩码和初步的θ、β。拿到初始θ、β后把mesh渲染出来和原图做对齐这一步主要是为了给后面的联合优化提供一个不差的起点。这里有个经验初始化的质量决定后面一切。如果初始化姿态偏了30度后面的接触损失会非常激进地把手臂拽向物体最后得到一个扭曲的中间值。所以宁可初始化弱一点也要先在2D层面保证大致的布局。2.3 物体侧类别模板加六自由度位姿不追求形状精细物体没有像SMPL那样统一的人体先验因为物体形状千差万别。但观察HOI常见场景会发现交互中出现的物体类别其实相对集中椅子、桌子、滑板、球、杯子、箱子、手机、书本……这就给类别级模板方案提供了空间。对图像中的物体先做2D检测和类别分类再在该类别的模板网格上估计一个全局位姿也就是旋转矩阵R和平移向量t再加上一个统一的尺度缩放s。这里要泼一盆冷水物体模板的形状不需要太精细。因为单目图像本身丢失了大量三维细节杯子把手有没有、椅子扶手曲线什么样在像素层面很难恢复。PICO用的是相对简化的模板重点放在位姿和尺度上——换句话说先把“这个物体在哪里、有多大、朝向什么方向”搞对形状细节留给后续的网格细化模块去做。这个细化模块可以是一个独立的形状变形网络输入初始位姿和图像特征输出顶点偏移量。实验下来对比直接预测精细形状先粗定位再细化的方式在接触准确率上提升了接近三成因为初始位姿对了接触约束才能生效细化才有正确的前置条件。物体尺度估计是HOI最容易翻车的一环。单目图像里一个远处的篮球和近处的网球在2D上可能一样大前者需要的平移深度和尺度完全不同。PICO的处理是引入人体作为尺度锚点利用已经在图像上检出的2D人体框和估计出的身体尺寸约束物体尺度躲在一个与人类常识匹配的范围内。试想一个成年人身侧的包被重建得比人还大一眼就不对劲。这个先验简单粗暴但在实际项目里帮我们挡住了大量离谱结果。2.4 遮挡推理单目里最容易被忽视的一环遮挡关系在单目里是隐式的因为图像只记录了从相机视角看到的可见表面。但我们可以从图像观测中提取线索谁在谁的轮廓边缘上切过谁在画面上被谁盖住。PICO的做法是把人体和物体分别渲染出深度图对比两者在重叠区域的深度顺序再和图像里观测到的遮挡模式做比对。如果图像里人的手遮挡了杯子的下沿而当前重建结果里杯子深度在人前面那就会被一个遮挡一致性损失纠正。这个模块看着小实际非常关键。我们做过消融实验把遮挡项从损失里拿掉之后联合优化比之前更容易收敛到“物体的真实位置在人的另一侧”这种自洽但错误的解。原因是接触损失和投影损失在优化过程中协同作用下可能找到一个在2D上完美一致、但3D上是左右翻转的镜像解。有了遮挡约束模型被迫选择与实际可见性一致的深度排序这类错误解基本被压掉。3. 损失函数设计接触、穿透、遮挡怎么平衡3.1 三大损失线数据项、先验项、交互项联合优化的整体目标可以拆成三组。第一组是数据一致项人体关键点的2D重投影误差、人体掩码误差、物体2D框与掩码误差。第二组是正则项姿态先验、形状先验、物体尺度的均匀先验。第三组是交互项接触、穿透、遮挡。一个典型的优化目标大致是L_total λ1*L_kp2d λ2*L_mask λ3*L_contact λ4*L_penetration λ5*L_prior用这组损失之前要做几件事配好每个损失的权重确定优化顺序先人体后物体还是联合优化控制学习率防止某一项梯度太大把姿态拉飞。我们实验里最常见的失败是λ4穿透惩罚开太大直接把人的膝盖怼出椅子表面代价是姿态扭曲成诡异角度。权重该怎么定我有个笨办法先在测试图上把每一项单独加上观察它对输出mesh的影响方向和幅度。比如单独加λ4如果输出立刻“僵住”——所有人都不敢靠近物体——那就说明它太大了。反过来单独加λ3如果输出里人和物体几乎贴成一体说明接触权重过大出现了“过度拥抱”现象。把每个单项调到“有作用但不抢戏”的状态再组合起来微调。这个流程大概需要一到两周。3.2 接触损失的具体实现与加权技巧接触损失的本质是“预测哪些点对应该接近再把它们拉近”。PICO里有一个接触映射预测头输入人体mesh顶点特征和物体mesh顶点特征输出一个接触置信度矩阵表示人体顶点i与物体顶点j在交互中发生接触的概率。有了置信度接触损失就可以写成加权距离def contact_loss(verts_h, verts_o, confidence): # verts_h: [Vh, 3], verts_o: [Vo, 3] dist torch.cdist(verts_h, verts_o) # [Vh, Vo] # 只惩罚高置信度且距离过大的点对 mask (confidence 0.5) (dist 0.03) if mask.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (confidence * dist)[mask].mean() return loss这段代码看着简单但有一个非常实际的坑如果直接用所有点对的距离均值会被大量无关点对稀释。一个杯子和一个完整的人体之间可能有几万个点对真正接触的点也许只占百分之几。如果不做筛选损失会被绝大多数无关点对的零距离淹没训练时梯度信号非常弱。我们实验里试过两种筛选方式。一种是阈值筛选只保留置信度大于0.5的点对参与计算收敛稳定但初期慢因为初始置信度普遍低另一种是top-k采样每次取距离最近的前k个点对参与计算初期收敛快因为梯度集中在最有希望的候选对上。两个方案最终效果接近但top-k在调试初期更友好——你能直观看到“模型正在尝试抓住哪一块区域”。后期建议切回阈值加权精度更细腻。还有一个细节值得提接触距离的阈值0.03米不是拍脑袋写的它取决于mesh的顶点密度。如果人体mesh平均边长接近2厘米那么两个mesh表面点距离小于3厘米就可以认为已经“贴上了”。你要是用一个顶点稀疏的模板阈值要相应放大否则模型永远追不上目标损耗就一直在。3.3 穿透惩罚法向“推出去”和SDF两种做法对比接触是把该贴的贴上穿透则是把不该穿的推开。判断“穿了没有”不能只看顶点距离要看物体表面的法向。一个常见做法是对每个穿透的人体顶点计算物体表面最近点以及该点法向如果人体顶点在物体内部就沿着法向推出去惩罚量正比于侵入深度。我推荐用符号距离函数也就是把物体表达成一个SDF场查询任意一个三维点输出它的有符号距离正数表示在物体外部负数表示在物体内部绝对值是到表面的距离。穿透损失就可以非常自然地写成def penetration_loss(verts_h, sdf_query_fn): # 把人体顶点输入物体的SDF返回负数表示内部 sdf_vals sdf_query_fn(verts_h) # [Vh] inside sdf_vals 0 if inside.sum() 0: return torch.tensor(0.0, requires_gradTrue) loss (-sdf_vals[inside]).square().mean() return loss这里的SDF不需要真的训一个网络实践中用模板mesh的最近点距离近似即可把每个顶点投影到物体mesh表面用射线和法向的符号判断顶点在表面哪一侧。这个近似足够用来惩罚典型的大尺度穿透比如整只手插入杯壁、半个臀部陷入椅面。但对于指尖嵌入表面这种毫米级穿透效果有限建议后期换用更精确的几何碰撞库做精修。说到底接触和穿透天生是一对矛盾接触项在推近穿透项在推远。如果两个损失的权重匹配不好模型就会在“差一点点没贴上”和“刚好贴上但深入了”之间来回震荡。我们最后采用的策略是给穿透项加一个软边际只惩罚深入超过1厘米的部分1厘米以内不管。这样既允许轻微的、不可见的侵入又能压制大的几何错误训练稳定非常多。3.4 交替优化与联合优化的节奏控制这是实操里绕不开的问题。联合优化同时更新人体θ、β和物体R、t、s理论上更优雅但梯度来源复杂容易陷入局部最优尤其当初始姿态偏差较大时接触损失会把整个手臂拽到杯子上姿态瞬间崩坏。交替优化则把问题拆成两步固定物体优化人体固定人体优化物体循环若干轮。交替更稳因为每一步的子问题更简单、梯度更干净。PICO实测下来初始化的那几轮必须用交替优化等姿态和物体位姿大致合理后再用联合优化做精调。这也是很多这类方法的通用套路如果你自己搭方案建议别一上来就端到端联合优化。具体节奏我们是这样调的前20步固定物体优化人体姿态让人的手、臀、脚去够物体的相应区域接着固定人体优化物体位姿和尺度让物体反过来贴合人的接触部位如此交替5轮每轮30步左右。粗调阶段结束后解除固定用联合优化再跑100步此时接触和穿透损失的权重可以适当调高让表面细节收敛。整张图的推理时间大约在10秒内主要花在可微渲染和迭代优化上。很多人以为优化步数越多越好实际上不是。单目问题本身存在模糊性优化的步数一旦过长模型会开始在2D掩码上过度拟合丢失姿态的合理性。我们发现150步以内是甜点区超过300步后穿透深度反而上升。这个现象后来我们理解了投影损失在整个目标里占比高为了让渲染出来的轮廓和图像完全重合模型倾向于把人体姿态拧成极端角度以补偿物体遮挡带来的信息缺失。所以适当提前停止反而是正则化的一种手段。4. 实操过程模型训练、推理与评测全流程4.1 环境搭建与渲染管线选型我们实验环境比较朴素PyTorch为基础渲染用Pyrender或自研的软光栅化器做可微渲染几何处理用trimesh额外用了一个轻量的SDF查询库处理穿透计算。显卡用的是中高端消费级卡单张图从初始化到精调完成大概几秒到十几秒推理时不需要非常大的显存。提示可微渲染是这类项目的重头。Pyrender本身不可微我们一般接一个soft rasterizer作为前向渲染器或者用PyTorch3D的可微渲染管道。如果你只想验证损失设计先用物理渲染器渲染出固定视角的图单独观察mesh形状是否合理再把渲染接到优化循环里。环境配置有一个容易踩的坑可微渲染库对CUDA版本和PyTorch版本的绑定非常严格版本不匹配会直接编译失败。我的建议是锁定一套已经互相验证过的版本组合不要在有多个显卡驱动的工作站上随便升级。我们团队有同事因为在一个版本杂乱的集群上装PyTorch3D前后折腾了两天最后在容器环境里才跑通。这个问题虽然看起来和算法无关但实际会吃掉大量项目时间。4.2 合成数据准备让接触标注免费HOI的真实标注数据非常贵。手动标注一个三维接触关系比标2D框要难得多所以在项目里我们主要依赖两条腿一部分是在公开的人-物交互数据集上训练另一部分是自制的渲染合成数据——把人体mesh和物体mesh摆成接触姿态用随机材质、随机光照、随机相机角度渲染出一批图像同时天然带有精确的接触标注和深度标注。合成数据解决标注问题真实数据解决域差异问题。做合成数据的细节值得说一句随机摆放时要刻意让一部分样本存在轻微穿透一部分样本存在轻微分离否则模型只见过完美接触的样本一旦真实图像里接触点略微错位接触推理就不稳。这其实是一个数据增强思想——人为引入一定范围的接触误差让模型学会在微扰下仍然输出正确的接触区域。我们最多的时候把一个交互动作渲染出200组不同视角、光照和背景的图像模型的泛化能力提升非常明显。在生成接触标注时要注意标注的粒度。接触不是一个二值属性而是有区域的手的整个掌面可能接触杯子但只有指腹接触杯把。我们的标注做法是给每个接触事件记录一个接触面积用于训练接触置信度的连续值版本而不是简单分类。这样接触头输出的置信度矩阵就有了平滑的梯度训练起来比0/1标签稳定得多。4.3 接触头的训练与端到端微调训练分成两个阶段。阶段一训练接触映射预测头输入人体mesh顶点特征和物体点云特征输出接触置信度用渲染合成数据的接触标注做监督。阶段二冻结接触头的部分层端到端微调整个重建模型让接触信息反过来影响人体姿态和物体位姿的预测。一个关键点是接触头的输入特征不只是几何坐标还包含2D图像上对应位置的颜色特征。为什么因为单靠几何无法区分“手在杯子前面还是后面”而颜色和纹理能提供遮挡线索——杯子遮挡手的那段边缘在图像上有清晰的轮廓特征。把2D特征对齐到3D顶点上再输入接触头是一个很有效的小技巧。具体做法是把图像放进一个浅层CNN得到每像素的特征向量然后根据相机投影把人体顶点和物体顶点分别投到图像上采样对应位置的特征拼接在坐标特征后面。实测这个操作能让接触预测准确率提升近10个百分点。训练时损失函数除了常规的交叉熵或MSE还要加一个空间平滑项。因为接触区域在mesh表面是成片出现的如果不对置信度做平滑输出往往像斑点一样零散优化时梯度杂乱。加入一个简单的拉普拉斯平滑项后接触区域变成连贯的块状后续的接触损失和穿透惩罚也能更稳定地作用。4.4 推理流程、参数配置与评测指标推理时输入一张图流程是检测人体和物体2D框 → 独立估计人体姿态和物体位姿 → 接触推理 → 联合优化若干轮 → 输出人体mesh和物体mesh附带接触标注。参数配置我整理了一个基线供参考人体初始化学习率1e-3联合优化阶段降到5e-4物体位姿学习率3e-3物体尺度学习率5e-4接触权重λ30.8穿透权重λ41.2优化轮次交替阶段5轮联合阶段100步掩码损失用L1而不是L2边界敏感度更高评测不能只看肉眼效果。我们常用的指标有四个指标计算方式说明Chamfer距离重建mesh与真值mesh顶点间双向最近点距离均值衡量几何精度掩码IoU重建mesh投影到2D与真值掩码的IoU衡量投影一致性接触准确率预测接触对的精度/召回衡量交互语义穿透深度人体顶点侵入物体内部的平均深度衡量物理合理性评测集要额外标注接触真值这个环节我们花了一周多最后发现最好的办法是找一批置信度高的合成测试图加人工抽检真实图兼顾自动化和可信度。人工抽检时我们总结了一套规则先看投影掩码是否贴合再看身体四肢是否出现反向折叠最后看手和物体的关系——手是悬空还是接触接触位置是否符合物体类别常识。这套规则后来被写成了团队的评测checklist新来的同学上手也快。5. 常见问题与排查实录5.1 关键点被遮挡姿态初始化崩坏把真实图片喂进去最常遇到的问题就是2D关键点检测在遮挡处失效尤其是“人坐椅子”这种场景臀部和膝盖有大半被椅面挡住检测器给出的置信度低初始化姿态直接跑偏。排查思路先单独跑人体姿态估计把2D关键点和投影后的3D骨架可视化确认哪几个关节置信度低。如果是遮挡导致的可以调整优化权重把低置信度关键点的监督权重降下来同时增加姿态先验的权重让模型更多依赖先验而不是被带偏的2D观测。如果实在不行有个土办法用检测器输出多个候选姿态假设每个假设各自走一遍联合优化最后选投影误差最小的结果。有点费算力但确实能救回一些难例。我们在PICO里还加了一个针对性的技巧用一个轻量的遮挡分割网络先标出图像里“什么东西挡住了人体的哪部分”然后在优化时把被遮挡区域的掩码损失权重直接降到接近0。这么做的好处是模型不会为了拟合被遮挡部分的轮廓而扭曲姿态它只需要保证可见部分的投影一致其余由姿态先验和接触约束兜底。5.2 物体尺度来回跳越调越离谱联合优化时物体尺度s和平移t经常互相补偿尺度变大一点平移朝远处挪一点投影出来的2D大小不变但3D结果变成一个“远处的大物体”。这是单目尺度-深度耦合的典型症状也叫scale-depth ambiguity。我们的解决办法是加了一个人体尺度锚定项。具体做法根据当前重建的人体mesh计算出关键的尺寸比如肩宽和手臂长作为参照系。然后把物体的尺度限制在与参照系合理匹配的区间内。比如一个人肩膀宽40厘米他手边的物体横跨尺寸超过1米那基本可以判定尺度预测错了直接把这个样本判为低置信度或者把物体尺度拉回区间内。再不行就在优化里固定物体尺度只优化位姿等人体姿态稳定后再放开尺度。这种“放弃一部分自由度换取稳定性”的思路在单目任务里是值得反复使用的。还有一个容易忽略的点物体检测的2D框不准会直接传导到尺度估计。我们曾经在测试集上一半物体的尺度过大最后排查发现是检测器对部分遮挡物体的边界框偏向宽松导致初始尺度偏大。后来在初始化时对物体框做了一次边缘紧缩——比例大约3%——尺度误差立刻降下来。这种问题不看数据分布光调损失是无法发现的。5.3 接触部位张冠李戴手里没抓到该抓的地方眼看接触项在起作用人和物体也不再穿透但仔细看手没放在杯柄上而是放在杯口上——接触置信度矩阵给出的语义区域完全错位。这通常是接触头的训练数据有问题合成数据里“手抓杯子”的接触区域太单一模型只记住了抓杯口这一类模式。对策是扩大合成数据的接触多样性同一个杯子让手从侧面、上方、斜下方都去抓一遍同一个姿态换不同形状的物体。我们还试过在接触置信度上加入类别约束比如属于“握柄类”的物体优先把手部顶点映射到手接触区域。效果有但有限核心还是数据多样性。调试这类问题最快的方法是直接把接触置信度矩阵可视化按置信度值给mesh顶点上色看预测的“热点”到底分布在哪些区域。有一次我们发现热点集中在大腿前侧而真值接触区在臀部下方原因就出在合成数据里坐姿样本生成时人体和椅面的接触采样是从mesh全局最近点出发的最近点落在大腿前侧而不是臀部。修正采样逻辑之后这个问题就消失了。“可视化接触热点”这一招我们后来一直在用凡是接触相关的bug先上色看图再找原因。5.4 损失一直降但渲染出来还是糊成一团还有一种情况是损失一直在降但mesh投影出去和原图对不上说明优化陷入了某个自洽但不合观测的局部最优。这时候先检查渲染的相机参数和检测框是否对得上再检查掩码损失是否真的在起作用。很多次问题出在一个小地方掩码损失用的是L2对边缘极其不敏感。一个只差两个像素的轮廓和一个完全对不上的轮廓L2值差别不大梯度也差不多模型学不到“往边上挪一点”的信号。换成一个边缘加权的距离项或者干脆只用轮廓边界像素计算距离效果会好非常多。另外相机内参错误是一个隐蔽的大坑。如果你的初始化代码里把焦距估计错了10%投影的物体轮廓会比实际偏大或偏小联合优化会努力用“错误尺度错误深度”去补偿最后收敛到一个数值上合理但视觉上完全不对的结果。所以每次跑新数据集先把一张已知真实深度分布的测试图走完整个流程确认相机内参对齐再开始大规模评测。这个检查只需要几分钟能省掉后面一整天的返工。5.5 一个容易被忽视的工程问题mesh顶点数量不一致接触损失和穿透损失都要计算人体mesh顶点与物体mesh顶点之间的关系而人体模板和物体模板的顶点数、面片密度往往差异巨大。比如人体模板有2万多个顶点一个简化的椅子模板可能只有2000个顶点。直接计算点对距离时人体侧的点密度远高于物体侧导致接触区域“人体一个点对物体多个点”的情况梯度传播时会偏向人体侧。我们的解决办法是对物体mesh做一次自适应细分让两个mesh在接触区域的顶点密度大致匹配。更规范的做法是用最近邻双向匹配并给每个点对乘上一个面积加权因子。如果你只是自己搭一个快速demo最简单的办法是先把两个mesh都采样成相同数量的点云再做后续计算。这个细节不解决接触损失会一直抖动而且越训越差表现非常迷惑。6. 一点个人体会跑这种项目最大的体会是真正耗时的不是网络结构而是数据和调试。HOI的合成数据生成看起来简单实际涉及接触采样、姿态合理过滤、遮挡多样性、域随机化每一步都要反复试损失函数那几项权重更是玄学我们调了一个多月才找到相对稳的组合。如果让我给后来人一个建议那就是别急着上完整方案先把最小闭环跑通单张简单图一个固定类别物体一个接触损失一把椅子先让它在不穿透的前提下把接触做对。把这一步做实了再往复杂场景、多类别、多样交互扩展路会顺很多。这个项目我们后续还在往视频序列上延伸加上时间一致性之后很多单目里的深度歧义会被自然消解那是另一个有趣的故事了。