VFH特征的使用(一)

一、SHOT特征描述符可视化

C++

#include <pcl/point_types.h>
#include <pcl/point_cloud.h>
#include <pcl/io/pcd_io.h>
#include <pcl/features/normal_3d_omp.h>
#include <pcl/registration/correspondence_estimation.h>
#include <boost/thread/thread.hpp>
#include <pcl/visualization/pcl_visualizer.h>
#include <pcl/registration/transformation_estimation_svd.h> 
#include <pcl/features/3dsc.h>
#include <pcl/keypoints/sift_keypoint.h>
#include <pcl/features/vfh.h>
using namespace std;

namespace pcl
{
    template<>
    struct SIFTKeypointFieldSelector<PointXYZ>
    {
        inline float
            operator () (const PointXYZ& p) const
        {
            return p.z;
        }

    };
}

typedef pcl::PointCloud<pcl::PointXYZ> pointcloud;
typedef pcl::PointCloud<pcl::Normal> pointnormal;
typedef pcl::PointCloud<pcl::VFHSignature308> VFHFeature;

VFHFeature::Ptr compute_pfh_feature(pointcloud::Ptr input_cloud, pcl::search::KdTree<pcl::PointXYZ>::Ptr tree)
{

    pointnormal::Ptr normals(new pointnormal);
    pcl::NormalEstimationOMP<pcl::PointXYZ, pcl::Normal> n;
    n.setInputCloud(input_cloud);
    n.setNumberOfThreads(6);
    n.setSearchMethod(tree);
    n.setKSearch(10);
    n.compute(*normals);


    pcl::PointCloud<pcl::VFHSignature308>::Ptr vfh_fe_vfh(new pcl::PointCloud<pcl::VFHSignature308>);
    pcl::VFHEstimation<pcl::PointXYZ, pcl::Normal, pcl::VFHSignature308> vfh;
    vfh.setInputCloud(input_cloud);
    vfh.setInputNormals(normals);
    vfh.setSearchMethod(tree);
    vfh.compute(*vfh_fe_vfh);
    return vfh_fe_vfh;



}

void extract_keypoint(pcl::PointCloud<pcl::PointXYZ>::Ptr& cloud, pcl::PointCloud<pcl::PointXYZ>::Ptr& keypoint)
{
    pcl::PointCloud<pcl::PointWithScale> result;
    const float min_scale = 5.f;
    const int n_octaves = 3;
    const int n_scales_per_octave = 15;
    const float min_contrast = 0.01f;
    pcl::SIFTKeypoint<pcl::PointXYZ, pcl::PointWithScale> sift;
    sift.setInputCloud(cloud);
    pcl::search::KdTree<pcl::PointXYZ>::Ptr tree(new pcl::search::KdTree<pcl::PointXYZ>());
    sift.setSearchMethod(tree);
    sift.setScales(min_scale, n_octaves, n_scales_per_octave);
    sift.setMinimumContrast(min_contrast);
    sift.compute(result);
    copyPointCloud(result, *keypoint);

}

int main(int argc, char** argv)
{
    pointcloud::Ptr source_cloud(new pointcloud);
    pointcloud::Ptr target_cloud(new pointcloud);
    pcl::io::loadPCDFile<pcl::PointXYZ>("pcd/pig_view1.pcd", *source_cloud);
    pcl::io::loadPCDFile<pcl::PointXYZ>("pcd/pig_view2.pcd", *target_cloud);

    pcl::PointCloud<pcl::PointXYZ>::Ptr s_k(new pcl::PointCloud<pcl::PointXYZ>);
    pcl::PointCloud<pcl::PointXYZ>::Ptr t_k(new pcl::PointCloud<pcl::PointXYZ>);
    extract_keypoint(source_cloud, s_k);
    extract_keypoint(target_cloud, t_k);


    pcl::search::KdTree<pcl::PointXYZ>::Ptr tree(new pcl::search::KdTree<pcl::PointXYZ>());
    VFHFeature::Ptr source_pfh = compute_pfh_feature(s_k, tree);
    VFHFeature::Ptr target_pfh = compute_pfh_feature(t_k, tree);
    pcl::registration::CorrespondenceEstimation<pcl::VFHSignature308, pcl::VFHSignature308> crude_cor_est;
    boost::shared_ptr<pcl::Correspondences> cru_correspondences(new pcl::Correspondences);
    crude_cor_est.setInputSource(source_pfh);
    crude_cor_est.setInputTarget(target_pfh);
    crude_cor_est.determineCorrespondences(*cru_correspondences);
    Eigen::Matrix4f Transform = Eigen::Matrix4f::Identity();
    pcl::registration::TransformationEstimationSVD<pcl::PointXYZ, pcl::PointXYZ, float>::Ptr trans(new pcl::registration::TransformationEstimationSVD<pcl::PointXYZ, pcl::PointXYZ, float>);

    trans->estimateRigidTransformation(*source_cloud, *target_cloud, *cru_correspondences, Transform);



    boost::shared_ptr<pcl::visualization::PCLVisualizer>viewer(new pcl::visualization::PCLVisualizer("v1"));
    viewer->setBackgroundColor(0, 0, 0);
    pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZ>target_color(target_cloud, 255, 0, 0);
    viewer->addPointCloud<pcl::PointXYZ>(target_cloud, target_color, "target cloud");
    viewer->setPointCloudRenderingProperties(pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 2, "target cloud");
    pcl::visualization::PointCloudColorHandlerCustom<pcl::PointXYZ>input_color(source_cloud, 0, 255, 0);
    viewer->addPointCloud<pcl::PointXYZ>(source_cloud, input_color, "input cloud");
    viewer->setPointCloudRenderingProperties(pcl::visualization::PCL_VISUALIZER_POINT_SIZE, 2, "input cloud");
    viewer->addCorrespondences<pcl::PointXYZ>(s_k, t_k, *cru_correspondences, "correspondence");
    while (!viewer->wasStopped())
    {
        viewer->spinOnce(100);
        boost::this_thread::sleep(boost::posix_time::microseconds(100000));
    }


    return 0;
}

关键代码解析：

    pcl::PointCloud<pcl::VFHSignature308>::Ptr vfh_fe_vfh(new pcl::PointCloud<pcl::VFHSignature308>);
    pcl::VFHEstimation<pcl::PointXYZ, pcl::Normal, pcl::VFHSignature308> vfh;
    vfh.setInputCloud(input_cloud);
    vfh.setInputNormals(normals);
    vfh.setSearchMethod(tree);
    vfh.compute(*vfh_fe_vfh);

pcl::PointCloud<pcl::VFHSignature308>::Ptr vfh_fe_vfh(new pcl::PointCloud<pcl::VFHSignature308>);：这行代码定义了一个指向 pcl::PointCloud<pcl::VFHSignature308> 类型的智能指针 vfh_fe_vfh，用于存储计算得到的VFH描述符。
pcl::VFHEstimation<pcl::PointXYZ, pcl::Normal, pcl::VFHSignature308> vfh;：这行代码创建了一个VFH估计器对象 vfh，用于计算VFH描述符。参数说明如下：
- pcl::PointXYZ：输入点云的点类型，这里使用的是三维坐标点 PointXYZ。
- pcl::Normal：输入点云的法线类型，用于计算VFH描述符时需要输入点云的法线信息。
- pcl::VFHSignature308：VFH描述符的类型，这里使用的是308维的VFH描述符。
vfh.setInputCloud(input_cloud);：设置输入点云。input_cloud 是指向输入点云的指针或智能指针，其中包含了点的三维坐标信息。
vfh.setInputNormals(normals);：设置输入法线。normals 是指向输入点云法线的指针或智能指针，其中包含了点云的法线信息。
vfh.setSearchMethod(tree);：设置搜索方法。tree 是指向用于邻域搜索的搜索树对象的指针或智能指针。这个搜索树用于查找每个点的邻域以计算其VFH描述符。
vfh.compute(*vfh_fe_vfh);：计算VFH描述符。这行代码会使用输入的点云和法线信息，以及设置的搜索方法，来计算每个点的VFH描述符，并将结果存储在 vfh_fe_vfh 中。

参数设置的影响如下：

输入点云的质量和分辨率会直接影响到计算得到的VFH描述符的准确性。
输入法线的准确性和一致性对VFH描述符的计算也有很大影响。
搜索方法的选择会影响计算VFH描述符时的邻域搜索效率和准确性，不同的搜索方法可能适用于不同场景下的点云数据。

确保输入数据的准确性和适用性，并根据实际情况选择合适的参数设置，可以得到高质量的VFH描述符。

结果：

我把上面的图片转了个向，可以清楚的发现只有一条对应线

由于VFH（视点特征直方图）是一种全局描述符，它为整个点云生成单一的描述子，这与pcl::SampleConsensusInitialAlignment需要源点云和特征点之间一对一对应的要求不匹配。使用VFH时，你只会得到一个全局特征向量，这意味着不适用于那些需要点对点对应关系的方法。

可以采用的某些策略：

使用VFH进行预筛选：如果有多个目标点云，可以使用VFH描述子来快速筛选出与源点云最相似的目标点云，然后再使用局部特征进行精确配准。这种方法在数据库搜索或者配准多个点云时很有用。
结合局部特征：对于每个点云，你可以计算VFH描述子，用于全局配准的粗略定位。随后，对于每个点云，你也计算局部特征描述子，如FPFH，用于精细配准。你可以先用VFH找到大致的配准位置，然后用FPFH做为局部搜索的依据，两者相结合可以提高配准的精度。
多模态数据融合：如果你有额外的传感器数据，比如RGB颜色信息，可以考虑将这些信息融入到配准过程中。这种情况下，你可以使用颜色信息来增加点云之间的匹配可能性。
使用VFH进行快速筛选后的模板匹配：在已知模板的情况下，可以使用VFH描述子来快速缩小搜索范围，找到最有可能的匹配目标。这种快速筛选可以大幅度减少后续计算量。一旦筛选到合适的候选模板，就可以使用ICP或其他精细配准方法来进行最后的对齐。