车道线检测经典论文UFLD复现

对车道线检测经典论文UFLD全流程进行复现

AI Studio

2559人浏览 · 2022-12-29 12:22:50

AI Studio · 2022-12-29 12:22:50 发布

车道线检测经典论文Ultra Fast Structure-aware Deep Lane Detection

之前已经有大佬对UFLD的推理进行了复现:项目地址,本项目对UFLD全流程进行复现。

UFLD的复现基于PPLanedet，目前PPLanedet复现了SCNN和UFLD，PPLanedet项目地址:github传送门，大家可以帮忙点点star，谢谢啦

1、目前车道线检测算法的难点

1、计算成本高，需要更低的计算成本处理每个摄像头的输入。

2、no-visual-clue（无视觉线索），有严重遮挡和极端光照条件。车道线检测迫切需要更高层次的车道语义信息。基于深度学习的图像分割方法比传统的图像处理方法具有更强的语义表示能力。

3、SCNN针对这一问题，提出了相邻像素之间的消息传递机制。这显著提高了深度分割方法的性能，但是由于像素间密集的通信，这种消息传递需要更多的计算成本。
车道表示为分割的二进制特征，而不是直线或曲线。尽管深度分割方法在车道检测领域占主导地位，但这种表示方式难以明确的利用先验信息，如车道的平整度。

2、UFLD亮点

1.提出了一个基于卷积神经网络进行车道线检测的新方法，区别于逐像素分割方法，该方法预测输入图像中每行的车道线位置。

2.该方法计算量小，能很好地满足自动驾驶场景对算法的速度要求；使用全局感受野，也能很好地处理复杂场景。

3.在训练网络时根据车道线的物理结构，加入了结构损失（structual loss），很好地利用了车道线的先验信息。。

3、核心思想

作者提出了一种以极快速度和无视觉线索为目标的新型车道检测方法。基于提出的公式，设计了一种结构损失，以明确利用车道线的先验信息。具体而言，公式是使用全局特征来选择图像在预定义行上的车道线位置，而不是根据局部感受野分割车道线的每个像素，这大大降低了计算的成本，位置选择示意图如图二所示。

左右车道的选择示意图。在右边部分，详细展示了行的选择。行anchor是预定义的行位置，本文的公式是在每个行anchor上进行水平选择。在图像的右侧，引入了一个背景gridding cell（网格单元）来表示该行没有车道。

对于no-visual-clue问题，因为本文的公式是基于全局特征进行行选择的过程，在全局特征的帮助下，方法得到了整个图像的感受野。与基于有限的感受野的分割方法相比，来自不同位置的视觉线索和消息可以被学习和利用。

4 代码复现

@HEADS.register()
class LaneCls(nn.Layer):
    def __init__(self, dim, loss = None,cfg=None):
        super(LaneCls, self).__init__()
        self.cfg = cfg
        chan = cfg.featuremap_out_channel
        self.pool = nn.Conv2D(chan, 8, 1)
        self.dim = dim
        self.total_dim = np.prod(dim)
        self.cls = nn.Sequential(
            nn.Linear(1800, 2048),
            nn.ReLU(),
            nn.Linear(2048, self.total_dim),
        )

        self.criterion = build_loss(loss,cfg)


    def postprocess(self, out, localization_type='rel', flip_updown=True):
        predictions = []
        griding_num = self.cfg.griding_num
        for j in range(out.shape[0]):
            out_j = out[j].cpu().numpy()
            if flip_updown:
                out_j = out_j[:, ::-1, :]
            if localization_type == 'abs':
                out_j = np.argmax(out_j, axis=0)
                out_j[out_j == griding_num] = -1
                out_j = out_j + 1
            elif localization_type == 'rel':
                prob = scipy.special.softmax(out_j[:-1, :, :], axis=0)
                idx = np.arange(griding_num) + 1
                idx = idx.reshape(-1, 1, 1)
                loc = np.sum(prob * idx, axis=0)
                out_j = np.argmax(out_j, axis=0)
                loc[out_j == griding_num] = 0
                out_j = loc
            else:
                raise NotImplementedError
            predictions.append(out_j)
        return predictions

    def loss(self, output, batch):

        loss_stats = {}
        cls_loss = self.criterion(output['cls'], batch['cls_label'])
        loss_stats.update({'cls_loss': cls_loss})

        ret = {'loss': cls_loss}

        return ret

    def get_lanes(self, pred):
        predictions = self.postprocess(pred['cls']) 
        ret = []
        griding_num = self.cfg.griding_num
        sample_y = list(self.cfg.sample_y)
        for out in predictions:
            lanes = []
            for i in range(out.shape[1]):
                if sum(out[:, i] != 0) <= 2: continue
                out_i = out[:, i]
                coord = []
                for k in range(out.shape[0]):
                    if out[k, i] <= 0: continue
                    x = ((out_i[k]-0.5) * self.cfg.ori_img_w / (griding_num - 1))
                    y = sample_y[k]
                    coord.append([x, y])
                coord = np.array(coord)
                coord = np.flip(coord, axis=0)
                coord[:, 0] /= self.cfg.ori_img_w
                coord[:, 1] /= self.cfg.ori_img_h
                lanes.append(Lane(coord))
            ret.append(lanes)
        return ret

    def forward(self, x, **kwargs):
        x = x[-1]
        x = self.pool(x).reshape((-1, 1800))
        cls = self.cls(x).reshape((-1, *self.dim))
        output = {'cls': cls}
        return output

#已经git clone pplanedet，该项目已经git过了不必再重复
# !git clone -v3 https://github.com/zkyseu/PPlanedet.git

#解压训练集
!unzip -d data/ data/data119539/train_set.zip

#解压测试集
!unzip -d data/ data/data119539/test_set.zip

^C

#调整一下文件位置
!cp data/data119539/test_label.json data/

#创建文件夹
!rm -rf data/data119539/
!mkdir /home/aistudio/data/seg_label

%cd PPlanedet

/home/aistudio/PPlanedet

#如果是分割模型需要运行这一步，这里我们也运行一下
!python tools/generate_seg_tusimple.py --root /home/aistudio/data/ --savedir /home/aistudio/data/seg_label/

#安装必要的库
!pip install -r requirements.txt --user

#安装pplanedet
!python setup.py build develop

#开启训练
!python tools/train.py -c configs/ufld/resnet18_tusimple.py

如果想直接验证结果可以不同运行上一行代码，复现的accuracy在Tusimple上为94.70%

#如果notebook显示不了可以放到终端运行
运行
!python tools/train.py -c configs/ufld/resnet18_tusimple.py --load /home/aistudio/data/data183576/epoch_96.pd --evaluate-only