简述

• 基于PaddleSeg2.2，修改dataset、model、train、val等，实现变化检测功能，使用过程与PaddleSeg完全一致，便于快速进行网络训练、推理
• 基于PaddleCD使用OCR-CD(魔改OCR-Net)，在昇腾杯-变化检测赛道复赛排名TOP14，PRCV2021决赛排名TOP7
• 目前仅实现了OCR-CD、SNUNet、DSAMNet、CDNet，后续会补充模型
• 目前存在bug，训练一段时间后Found inf or nan, current scale is: 0.0, decrease to: 0.0 * 0.5，出现原因不详、出现时间不固定；且仅在前期收敛

更新

• v2:更新部分表述
• v3:更新项目背景、数据集说明

1.项目背景

1.1 PaddleCD

之前对变化检测有过一些接触，今年下半年在参加PRCV2021遥感图像智能解译技术挑战赛时，为便于对代码进行调整，基于PaddleSeg2.2进行修改，实现了变化检测工具集——PaddleCD

变化检测的数据格式较多样（按标注类型大概分为变化标注、增加标注+减少标注、time1 gt+time2 gt+变化标注等，按网络结构的影像可以分双时相并行输入/Siamese结构、双时相叠加后输入/分割网络）

目前PaddleCD支持的是最简单的双时相并行输入/Siamese结构，标注类型——变化标注。其他结构可以在此项目基础上微调得到，后续如有接触相关内容也会更新。

现有网络OCR-CD——自己魔改结构，SNUNet——ppcd中网络的搬运、DSAMNet——DSAMNet的Paddle复现、CDNet——SenseEarth2020冠军方案Paddle复现

1.2 比赛介绍

变化检测是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程；遥感变化检测是一个确定和评价各种地表现象随时间发生变化的过程；遥感变化检测是遥感瞬时视场中地表特征随时间发生的变化引起两个时期影像像元光谱响应的变化。[ * ]


PRCV2021遥感图像智能解译技术挑战赛链接：https://captain-whu.github.io/PRCV2021_RS/index.html


昇腾杯-变化检测赛道链接：http://rsipac.whu.edu.cn/subject_two

1.3 本项目内容

本项目为昇腾杯-变化检测赛道复赛排名TOP14方案代码实现，PRCV2021项目方案也采用了同样网络结构

2.数据集介绍

• 原始影像：影像格式为tif，包含R、G、B三个波段， 初赛数据集影像尺寸为512 * 512像素，共3194对样本

• 标签数据：标签格式为单通道的png，每个像素的标签值由一个数值表示， 使用‘uint8’数据类型存储，该数值表示是否为变化，“0”代表未变化，“1”代表变化。

3.项目方案——OCR-CD

• OCR-CD根据OCRNet与Siamese结构设计得到，

• OCR-CD设计有OCR、OCR_M、OCR_P共3种结构，3种结构精度无太大差异，OCR_M、OCR_P由于结构原因占用显存大，训练慢，因此常使用OCR结构

• 网络结构

  • backbone——使用HRNet分别对双时相影像进行特征提取，得到f1、f2
  • 特征处理
    • OCR: 取f1、f2差值的绝对值fb
    • OCR_M: 将f1、f2在通道维度合并得到fb
    • OCR_P: 取f1、f2差值的绝对值fb，将f1、f2在通道维度合并得到fa
  • 输出头
    • OCR、OCR_M：1个OCRHead
    • OCR_P：2个OCRHead分别处理fb，fa

• OCR、OCR_M、OCR_P的config文件分别在PaddleCD-cd_config下的ocrnet.yml、ocrnet_m.yml、ocrnet_p.yml

4.PaddleCD必要结构说明

• cd_config:存放配置文件
• paddleseg:核心代码
  • core：包含具体的train、val、infer、predict代码，seg与cd有所不同
  • transforms：数据预处理部分，seg与cd有所不同
  • models：模型存放路径，cd部分——ocrnet、snunet、dsamnet、cdnet_parallel、cdnet_fusion，其余部分未修改，仍是seg功能
  • datasets：存放数据集格式代码，本项目使用的是rscd中自定义的数据，可根据输入输出的不同进行修改
  • cvlibs: 相关代码库，未修改
  • utils: 相关代码库，未修改
• train.py: 调用核心代码的train过程
• val.py: 调用核心代码的val过程
• predict.py: 调用核心代码的predict过程

5.项目完整代码

数据预处理

# 清除cell输出结果
def clear_output():
    """
    clear output for both jupyter notebook and the console
    """
    import os
    os.system('cls' if os.name == 'nt' else 'clear')
    from IPython.display import clear_output as clear
    clear()

# 解压数据
!unzip -oq /home/aistudio/data/data107059/train_png.zip -d /home/aistudio/data/src/
!unzip -oq /home/aistudio/data/data107059/test_AB_png.zip -d /home/aistudio/data/src/

# 安装依赖库
!pip install -r /home/aistudio/PaddleCD/requirements.txt
clear_output()

# 生成数据集train.txt val.txt
# !python /home/aistudio/work/data_generate.py

# 直接拷贝已有的数据集划分文件，保证每次训练评价指标相同
!cp /home/aistudio/work/train.txt /home/aistudio/data/src/train.txt
!cp /home/aistudio/work/val.txt /home/aistudio/data/src/val.txt

网络训练

# 模型训练
!python /home/aistudio/PaddleCD/train.py \
       --config /home/aistudio/PaddleCD/cd_config/ocrnet.yml \
       --do_eval \
       --use_vdl \
       --iters 8000 \
       --save_interval 200 \
       --save_dir /home/aistudio/data/output \
       --batch_size=8 \
       --log_iters 20 \
       --fp16

# 后台训练时，需要清空输出，保证notebook正常导入；notebook训练时，可以不用
# clear_output()

# 将最优模型拷贝到/home/aistudio/best_model路径下
!mkdir /home/aistudio/best_model/
!cp /home/aistudio/data/output/best_model/model.pdparams /home/aistudio/best_model/model.pdparams
!find /home/aistudio/data/output -name '*.log' -exec cp -t /home/aistudio/best_model/ "{}" +

测试

# 普通测试
!python /home/aistudio/PaddleCD/val.py \
       --config /home/aistudio/PaddleCD/cd_config/ocrnet.yml \
       --batch_size 16 \
       --model_path /home/aistudio/best_model/model.pdparams

# 增强测试
!python /home/aistudio/PaddleCD/val.py \
       --config /home/aistudio/PaddleCD/cd_config/ocrnet.yml \
       --aug_eval \
       --flip_vertical \
       --batch_size 16 \
       --model_path /home/aistudio/best_model/model.pdparams

!python /home/aistudio/work/data_sta.py

推理

# 增强推理， 推理结果保存在/home/aistudio/data/src/result下
!python /home/aistudio/PaddleCD/predict.py \
       --config /home/aistudio/PaddleCD/cd_config/ocrnet.yml \
       --model_path /home/aistudio/best_model2/model.pdparams \
       --image_path /home/aistudio/data/src/test_AB_png/A \
       --image_path2 /home/aistudio/data/src/test_AB_png/B \
       --aug_pred \
       --flip_vertical \
       --batch_size 32 \
       --save_dir /home/aistudio/data/src

推理展示

from PIL import Image
from collections import namedtuple
import matplotlib.pyplot as plt

Cls = namedtuple('cls', ['name', 'id', 'color'])
Clss = [
    Cls('bg', 0, (0, 0, 0)),
    Cls('change', 1, (255, 255, 255)),
]


def get_putpalette(Clss, color_other=[0, 0, 0]):
    '''
    灰度图转8bit彩色图
    :param Clss:颜色映射表
    :param color_other:其余颜色设置
    :return:
    '''
    putpalette = []
    for cls in Clss:
        putpalette += list(cls.color)
    putpalette += color_other * (255 - len(Clss))
    return putpalette

bin_colormap = get_putpalette(Clss)

%matplotlib inline
img1_path = r'/home/aistudio/data/src/test_AB_png/A/1.png'
img2_path = r'/home/aistudio/data/src/test_AB_png/B/1.png'
pred_path = r'/home/aistudio/data/src/result/1.png'

img1 = Image.open(img1_path)
plt.imshow(img1)
plt.show()
img2 = Image.open(img2_path)
plt.imshow(img2)
plt.show()
pred = Image.open(pred_path)
pred.putpalette(bin_colormap)
plt.imshow(pred)
plt.show()
pred = Image.open(pred_path)
pred.putpalette(bin_colormap)
plt.imshow(pred)
plt.show

<function matplotlib.pyplot.show(*args, **kw)>

6. 小结

基于PaddleSeg实现PaddleCD，目前可以使用OCR-CD、SNUNet、DSAMNet、CDNet等网络实现变化检测，但在训练过程中仍存在一些问题，后续在使用过程中会继续修改调整



欢迎对遥感、变化检测感兴趣的同学一起交流讨论