我们提出了一种新的机器人抓取规划方法，该方法同时使用了学习的抓取提议网络和学习的3D形状重建网络。我们的系统从目标对象的单个RGB-D图像生成6-DOF抓取，该图像作为两个网络的输入。通过几何重构来优化抓取提议网络生成的候选抓取，我们的系统能够准确地抓取已知和未知物体，即使在物体上的抓取位置在输入图像中不可见 本文介绍了该系统的网络结构、训练过程和优化方法。实验证明了我们的系统在抓取已知和未知物体时的有效性(在物理机器人环境中成功率为91%，在模拟环境中成功率为84%)。我们还进行了消融研究，展示了将学习抓取提议与几何重建相结合的好处，也表明我们的系统在抓取任务中优于多个参考基线。 

图1:系统概述。一个带有分割掩码的输入RGB-D图像被提供给两个神经网络，分别产生一个6自由度的抓取姿势和一个物体的3D点云重建。通过将抓取姿势投影到点云中最近的点来优化抓取姿势，从而产生最终的输出抓取。

图2:GPNet的架构由并行的ResNet-34模块组成，这些模块嵌入了屏蔽的灰度图像和深度图像。这些嵌入被连接起来，并通过两个完全连接的层回归到一个向量t∈R12，表示齐次变换C TG。

图3:在我们单独的shoe和YCB对象数据集中的示例抓取。从使用3D网格生成的一组候选抓取中，我们为每个对象选择一个单一的基本事实示例。

图4:从前景掩盖灰度和深度图像中，我们的3D形状重建网络SRNet学习了一个映射函数fθ，该函数将点从标准域(如单位球体)映射到3D对象。我们的系统利用这种重建所提供的附加几何信息来改进GPNet提出的抓取。

图5:将建议的抓取投影到重建点云上提高抓取准确性。左：灰度鞋图像。右：覆盖在可见点云上的SRNet重建。

图6：可见抓取（左）和隐藏抓取（右）实验设置。在可见抓取实验中，相机以50度仰角，距离鞋子500mm处，鞋子以90度增量依次放置在4个位姿（A-D）处。在隐藏式抓取实验中，相机距离鞋子500mm并与桌子平行，鞋子分别以45度增量放置在四个位姿处（E-H）。从这些角度看不到鞋子左侧的抓握点。

表I：可见抓握（VG）和隐藏抓握（HG）设置的鞋子抓取实验成功率

表II：从两个角度统计的每只鞋子抓取成功率。

图7：与物理设置蕾丝的模拟实验评估环境-Kinova Gen3臂和Robotiq 2F-85 平行颚夹钳

表III：每个物体的抓取成功率（%）。糖盒是一个测试对象。对测试对象的600个视图和火车对象的60个视图进行了评估，所有这些都使用YCB数据集中的RGB-D信息，并将对象放置在运动学可观的位姿模拟中。