问题陈述
给定点云数据、机械手的几何参数，抓取位姿检测问题（ grasp pose detection problem）表示为，在抓手闭合情况下，识别抓手的配置的问题。
：机器人工作空间
：三维点云中的一组点，由一个或多个传感器感知的
我们假设云中每个点都与该点的一个视点配对，由
，其中
代表一组视点
我们将
作为视点点云（ps.拥有某个视点观察角度的点云）
定义1
1、二指手：双指手可以由两个接触面来模拟，这两个接触面沿着一维流形相互靠近和远离。
因为只允许二指手，由于我们只允许使用两只手指的手，因此手相对于物体的 6-DOF 姿势足以计算出手指接触的位置，而手指接触的位置则是手相对于物体以给定姿势闭合时的位置。因此，只需给出 6-DOF 手部姿态，就能评估是否存在抓握动作。
问题陈述
输入视点云、ROI、二指抓手。目的是找到一组或更多6自由度抓手，其中抓手在闭合时满足力闭合。
任何减少点云噪声和错误的操作都是step1中进行。
Step2找到ROI，不用把物体从背景中分割出来，ROI应该包括一组或更多物体
Sampling
Step3.找到满足一定数量的六自由度候选抓取。这一步我们希望抓手尽可能均匀分布在物体表面的可抓取部分。
我们将
表示为一个抓手，
表示手完全张开始占用的体积。
定义
为闭合区域，即手闭合时扫过的体积
根据上面定义，我们对抓取候选进行一定限制：
采样过程为：
首先，从
中机采样N个点，即抓手与ROI区域相交的那部分点云（就是夹爪内部点云）
然后，对于每个采样的点云。我们计算p出局部参考框架的矩阵的特征向量（we calculate a local reference frame at p by evaluating the Eigenvectors of the matrix），即
。其中
表示 p 处向外指向的单位表面法线，
表示关于点p的r-ball（step4）。
让
表示 p 处的正交参考框架（称为达尔布框架），其中 v1(p)对应于 M(p)的最大特征值，v3(p)对应于最小特征值。向量 v3(p) 是 p 处表面法线的平滑估计值，v1(p) 是小主曲率轴的平滑估计值，v2(p) 是大主曲率轴的平滑估计值。F(p)根据需要旋转 180 度，使 v3(p) 指向物体表面的外侧。图 2 显示了这一坐标系，并在原点叠加了抓手。
下一步。对于每个采样的参考框架p ∈C ∩ R， 我们对满足条件 1 和 2 的手进行局部网格搜索（step5-10）。我们搜索一个二维网格
，其中e Y and Φ表示是 F(p)参照系中沿 Y 轴和围绕 Z 轴的离散值集（在我们的实验中，|Y| = 10，|Φ| = 8）。对于每个
，我们应用相对于 F（p）坐标系的相应平移和旋转。
然后，然后，我们将手沿负 x 轴向前 "推"，直到其中一个手指或手掌接触到点云。
让
R4×4表示表示同质变换（Homogeneous transform），它描述了 x、y 平面上 x、y 的平移和 φ 绕 z 轴的旋转。相对于 F(p)，手在 x、y、φ 偏移处的参照系为
。
对于每个 (y,φ)∈G，让 F(hy,φ) 表示在网格单元 y, φ 处被向前推直到与云接触的手： F(hy,φ)=F(p)Tx∗,y,φ，其中 x∗ = minx∈R，使得 B(hx,y,φ(p))∩C=∅（步骤 6）。
如果闭合区域 C(hy,φ) 至少包含云中的一个点，则将一只手 hy,φ 添加到候选抓握集合 H 中（步骤 7-9）。
图三展示 点云被部分遮挡情况下的候选抓取
抓取方法比较（上一节Ours和其他人的方法）
大多数使用滑动窗口生成抓取建议：(Saxena et al. 2008; Jiang et al. 2011; Fischinger and Vincze 2012; Fischinger et al. 2013). Pinto and Gupta (2015) cluster foreground pixels using background subtraction on the RGBD image。
和我们最像的：Herzog et al. (2012) (later adopted by Kappler et al. (2015)). That method works by segmenting the object to be grasped from the rest of the point cloud and calculating the convex hull. For each face in the convex hull, a coordinate frame is created at the center of each face and oriented such that the x axis points outward (similar to F(p) in our method as shown in Figure 2). A one-dimensional grid search is performed over a set of angular displacements about the x axis and the hand is “pushed” toward the object (similar to what we do in Step 6 of Algorithm 2)
然而我们的又有不同之处：First, whereas Herzog et al. (2012) segment the object, cast a convex hull around it, and only sample grasps at the center of each face in the hull, we sample grasps on all visible surfaces. This makes our sampling method more practical in cluttered scenarios where object segmentation can be challenging.（大概意思是Herzog对物体进行了分割，在物体表面生成凸壳，对凸壳的中心进行抓取采样。但是我们对所有可见的表面都进行了抓取采样，我们的方法有利于杂乱场景）
Second, whereas Herzog et al. (2012) and Kappler et al. (2015) perform a one-dimensional grid search over hand orientations about the x axis in the F(p) coordinate frame, we perform a twodimensional grid search over positions along the y axis and orientations about the z axis in F(p).（大概意思是Herzog和Kappler在F(p)坐标系的x轴上进行一维网格搜索，但是我们对 F（p）中沿 Y 轴的位置和 Z 轴的方向进行二维网格搜索）
【又讨论了，研究z轴方向找好还是x轴方向找好，又做了比较。比较证明我们的方法候选抓取更多，效果更好。图四展示效果】
候选抓取分类
CNN输入的是深度传感器观察到的物体表面，输出的是抓取预测
候选抓取表示
使用多视图作为分类器的输入。
为训练CNN使用的抓取数据集
上面的方法证明了，抓取表示与抓取表面的几何形状还有角度有关，因此数据集应该跨越这两个变量。因此采用BigBird数据集。
While we use BigBird in this paper, any object dataset that pairs RGBD images with mesh models of the object geometry will work.
Labeling候选抓取
我们把抓手限制在定义1的描述中，因此，评估6自由度手部姿势是否闭合是否形成力闭合，就可以将抓取分为好的和不好的。但是有人（Roa and Suarez 2015; Kappler ´ et al. 2015）指出，力闭合不一定能很好的预测一个给定抓取在现实操作中是否会成功。
因为我们用二指夹爪，因此我们选择特殊的力闭合，称为无摩擦antipodal grasp。
当施加的无摩擦接触扳手在各自施加单位力的情况下相互平衡时，一组接触就是无摩擦反向抓取（Platt 等人，2010 年；Murray 等人，1994 年）。这是一个比力闭合更保守的条件，因为对于任何非零库仑摩擦系数（假设为软接触）而言，任何无摩擦反脚抓取也是力闭合抓取。此外，它对微小的接触扰动具有鲁棒性。对于任何正摩擦系数和任何具有 Lipschitz 连续表面的物体，都存在一个围绕无摩擦反向抓取的接触配置邻域，该邻域也是力闭合的（大概意思是，无摩擦antipodal grasp是力闭合抓取的一种，但是这个条件更能成功抓取）
Improving Classification Accuracy
.。。
