VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection

VoxelNet：基于点云的三维空间信息逐层次学习网络

1、项目总览

①、简介

本项目主要是对来自2017年苹果公司基于点云的3D物体检测论文"VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection"进行复现。
VoxelNet只利用点云数据，在无人驾驶环境下实现了高精度的三维物体检测。

Note：项目目前可以训练、可以评估预测。但是（单卡训练，bs=2,epoch=100）未达到论文精度（论文bs=16,epoch=160）。有兴趣的同学可以自己尝试

另外重要的是：训练存在内存泄漏问题，之前定位到dataloader泄漏，不知道是数据预处理部分有问题还是paddle的问题，但是自己没闲功夫修改了，具体位置有兴趣的同学自己排查吧。
不然就得训练一段时间断掉再resume，其中train_fix_oom.py就是采用了读取内存，超过阈值resume的方案～

想要复现指标，一个是要调整参数（主要是yaml文件里的参数，但是参数改动可能造成出错），一个是要把项目里的bug fix掉噢！我认为调大batchsize应该会有大的提升！但是我并未尝试过多卡训练，所以可能会出问题。

ps：本项目主要是从second修改而来，所以稍加修改即可复现second和pointpillar。

之前训练(未训练完)的某次结果指标：

Car AP@0.70, 0.70, 0.70:
bbox AP:53.40, 41.52, 35.37
bev  AP:52.85, 40.87, 34.85
3d   AP:50.86, 36.90, 30.71
aos  AP:28.13, 23.91, 21.17
Car AP@0.70, 0.50, 0.50:
bbox AP:53.40, 41.52, 35.37
bev  AP:53.44, 42.09, 35.77
3d   AP:53.42, 41.90, 35.65
aos  AP:28.13, 23.91, 21.17

2、网络简介

将三维点云划分为一定数量的Voxel，经过点的随机采样以及归一化后，对每一个非空Voxel使用若干个VFE(Voxel Feature Encoding)层进行局部特征提取，得到Voxel-wise Feature，然后经过3D Convolutional Middle Layers进一步抽象特征（增大感受野并学习几何空间表示），最后使用RPN(Region Proposal Network)对物体进行分类检测与位置回归。VoxelNet整个pipeline如下图所示。

①、网络结构

通过层叠的VFE层将体素编码，然后3D卷积进一步放大局部voxel特征，将点云转化成高维的体积的表达。最后通过RPN产生检测结果。

②、特征提取模块：VFE

3、RPN模块

论文中提到，RPN 中的 FCN网络分为 3 块，每一块都会实现 2x 效果的下采样率。然后，又实现了向上采样，将倒数 3 块上采样到固定的尺寸，然后拼接起来。最终，由上采样拼接后的卷积引出 2 个目标分支：概率图和回归图
注意它们的尺寸，概率图通道数是 2，代表正负 anchor 的概率，这个概率应该通过 softmax 处理过。
回归图的通道数是 7，代表的就是一个 anchor 的 3D 信息(x,y,z,l,w,h,theta)

②、损失函数

总体 Loss 由 2 部分组成：

• 分类 Loss
• 回归 Loss

3、网络训练

1、数据集的准备(十几分钟解压)

    VoxelNet网络在KITTI数据集中的3D Detection数据集上面进行训练，数据集中包含7481张训练图片以及7518张测试图片，一共有80256个标记物体，并且测试模式包含普通的视角以及鸟瞰视角。

!rm -rf kitti/
!mkdir -p kitti/training/velodyne_reduced
!mkdir -p kitti/testing/velodyne_reduced

!unzip data/data50186/data_object_calib.zip -d kitti/

!unzip data/data50186/image_training.zip -d kitti/training/
!unzip data/data50186/data_object_label_2.zip -d kitti/training/
!unzip data/data50186/velodyne_training_1.zip -d kitti/training/
!unzip data/data50186/velodyne_training_2.zip -d kitti//training/
!unzip data/data50186/velodyne_training_3.zip -d kitti/training/

!unzip data/data50186/image_testing.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_1.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_2.zip -d kitti/testing/
!unzip data/data50186/velodyne_testing_3.zip -d kitti/testing/

!mv kitti/training/training/* kitti/training/
!rm -rf kitti/training/training/
!mv kitti/testing/testing/* kitti/testing/
!rm -rf kitti/testing/testing/

!mkdir kitti/training/velodyne
!mv kitti/training/velodyne_training_1/* kitti/training/velodyne/
!mv kitti/training/velodyne_training_2/* kitti/training/velodyne/
!mv kitti/training/velodyne_training_3/* kitti/training/velodyne/
!rm -rf kitti/training/velodyne_training_1
!rm -rf kitti/training/velodyne_training_2
!rm -rf kitti/training/velodyne_training_3
!mkdir kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_1/* kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_2/* kitti/testing/velodyne
!mv kitti/testing/velodyne_testing_3/* kitti/testing/velodyne
!rm -rf kitti/testing/velodyne_testing_1
!rm -rf kitti/testing/velodyne_testing_2
odyne_testing_2
!rm -rf kitti/testing/velodyne_testing_3

2、安装必要的库

!pip install shapely pybind11 protobuf scikit-image pillow fire scikit-image memory_profiler psutil
!pip install numpy==1.17
!pip install numba==0.48.0

3、数据集处理与准备

    对KITTI数据集进行处理。

数据集应有结构

kitti/
├── training/
├──    	├── calib
├──    	├── image_2
├──    	├── label_2
├──    	├── velodyne
├──    	└── velodyne_reduced
├── testing/
├──    	├── calib
├──    	├── image_2
├──    	├── velodyne
├──    	└── velodyne_reduced
├── gt_database/
		├── 4264_Car_1.bin
    	...
├── kitti_dbinfos_train.pkl
├── kitti_infos_test.pkl
├── kitti_infos_train.pkl
├── kitti_infos_trainval.pkl
├── kitti_infos_val.pkl

├── test.txt
├── train.txt
├── trainval.txt
└── val.txt

!tree -L 1 kitti/

%cp -r kittiinfo/* kitti/

%cd Voxelnet

!python create_data.py create_kitti_info_file --data_path=/home/aistudio/kitti ## 报错的话，可能需要修改create_data.py内的路径

!python create_data.py create_reduced_point_cloud --data_path=/home/aistudio/kitti

!python create_data.py create_groundtruth_database --data_path=/home/aistudio/kitti

4、训练

# !python train.py train --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output
#或者
!python train_mgpu.py --config=configs/voxelnet_kitti_car.yaml --model_dir=./output --use_vdl=True

5、评估

!python eval.py eval --cfg_file=configs/voxelnet_kitti_car.yaml --model_dir=./output

6、Reference

    论文


    traveller59/second.pytorch


    叶月火狐/PointPillars