飞桨常规赛：黄斑中央凹定位（GAMMA挑战赛任务二）

11月第3名方案——鸣沙山下.伽利略

比赛地址：https://aistudio.baidu.com/aistudio/competition/detail/120/0/introduction

1. 赛题分析

GAMMA挑战赛是由百度在MICCAI2021研讨会OMIA8上举办的国际眼科赛事。MICCAI是由国际医学图像计算和计算机辅助干预协会 (Medical Image Computing and Computer Assisted Intervention Society) 举办的跨医学影像计算和计算机辅助介入两个领域的综合性学术会议，是该领域的顶级会议。OMIA是百度在MICCAI会议上组织的眼科医学影像分析 (Ophthalmic Medical Image Analysis) 研讨会，至今已举办八届。

1.1 题目

对2D眼底图像中黄斑中央凹进行定位。

本任务的目的是预测黄斑中央凹在图像中的坐标值。若图像中黄斑中央凹不可见，坐标值设为(0, 0)，否则需预测出中央凹在图像中的坐标值。

1.2 数据分析

数据集由中国广州中山大学中山眼科中心提供，数据集中包含200个2D眼底彩照样本，分别为：训练集100个，测试集100个。

样本数虽然不多，但测试集和训练集数据一致性较好，实际训练时没有发现过拟合现象。图像分辨率大部分为2992 * 2000，少量为1956 * 1934，图片分辨率高。

中央凹标注单位为像素，精度精确到小数点后5-6位（确实不知道是否真的需要这么高的精度嘛？）。虽然说明中有说中央凹不可见时坐标值设为(0, 0)，但标注中并未发现这种情况，暂时只能认为测试集中也不存在这种情况。

2. 方案说明

2.1 建模思路

题目要求检测黄斑中央凹点，参考baseline将其建模为回归问题。

backbone选用paddleseg自带的Resnet50vd，输出为归一化的xy坐标值。

考虑到中央凹位置坐标范围有限，这里将坐标映射到[0.3, 0.7]的区间范围内再归一化到[0, 1]区间。

数据集

采用paddle.io.Dataset自定义数据集，能够方便的实现数据管理、组batch、坐标映射与恢复等功能。

class MyDataset(paddle.io.Dataset):
    def __init__(self, img_folder, label_file=None, idx=None, argument=False):
        '''设置图片目录、标签文件、样本编号（用于训练集和验证集划分）、数据增强等'''
        img_paths = get_all_paths(img_folder, '.jpg')
        if idx is None:
            idx = np.arange(len(img_paths))
        imgs = [read_image(img_paths[i]) for i in idx]
        if label_file:
            label_df = pd.read_excel(label_file)
            label_X = label_df['Fovea_X'].values
            label_Y = label_df['Fovea_Y'].values
            labels = [(label_X[i], label_Y[i]) for i in idx]
        else:
            labels = [None,]*len(idx)
        datas = [(img, label) for img, label in zip(imgs, labels)]
        self.datas = datas
        self.argument = argument
        self.color_jitter = paddle.vision.transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1)

    def __getitem__(self, idx):
        '''返回的param用于预测时恢复原始图像坐标'''
        img, loc = self.datas[idx]
        img = img.copy()
        if self.argument:
            img, loc = self.do_arg(img, loc)
        img, label, param = self.pre_process(img, loc)
        return img, label, param

    def __len__(self):
        return len(self.datas)

    def do_arg(self, img, loc):
        '''
            数据增强方式包括：颜色抖动、水平翻转、垂直翻转。
            数据增强后对变换参数作相应改动。
        '''
        h, w, _ = img.shape
        img = self.color_jitter(img)
        if np.random.uniform(0,1)>0.5:
            # horizon flip
            img[:,::-1,:] = img
            loc = (w-loc[0], loc[1])
        if np.random.uniform(0,1)>0.5:
            # vertical flip
            img[::-1,:,:] = img
            loc = (loc[0], h-loc[1])
        return img, loc

    def pre_process(self, img, loc):
        '''图像归一化到[-0.5, 0.5]区间，标签归一化到[0, 1]区间'''
        img, loc, param = crop_center(img, loc)
        img = img.transpose([2,0,1]).astype(np.float32)/255-0.5
        label = np.zeros([2], dtype=np.float32)
        if loc is not None:
            fx, fy = loc
            r0, r1 = OUTPUT_RANGE
            w = (fx-r0)/(r1-r0)
            h = (fy-r0)/(r1-r0)
            label[:] = (h, w)
        return img, label, param

由于样本图像大小不一，这里归一化到统一大小。缩放时保持比例并裁取中间块，同时保留坐标映射信息。预测时可以据此映射回原图坐标。

def crop_center(img, loc=None):
    h, w, d = img.shape
    dx = (w-h)//2
    img = img[:, dx:(dx+h), :]
    img = cv2.resize(img, (INPUT_IMAGE_SHAPE, INPUT_IMAGE_SHAPE))
    scale = h/INPUT_IMAGE_SHAPE
    if loc is not None:
        x, y = loc
        loc = ((x-dx)/h, y/h)
    return img, loc, (scale, dx)

def restore_xy(loc, param):
    x, y = loc
    scale, dx = param
    loc = (x*INPUT_IMAGE_SHAPE*scale+dx, y*INPUT_IMAGE_SHAPE*scale)
    return loc

模型

paddleseg仅需一行代码即可构建backbone模型（work/my_model.py)：

self.backbone = paddleseg.models.backbones.ResNet50_vd(pretrained=pretrain_url)

与paddle自带的Resnet预训练模型相比，paddleseg的预训练模型默认输出多分辨特征，我们可以很方便的挑选自己所需的特征（work/my_model.py)：

feats = self.backbone(x)
feats = [feats[i] for i in self.feat_indices]

本项目目前仅采用末层特征（self.feat_indices=[-1]）。

loss选用的是收敛性能较好的smooth L1。通过自定义loss层，能够方便的实现多头输出加权loss。

class MyLoss(paddle.nn.Layer):
    def __init__(self, loss_w = LOSS_WEIGHTS):
        super(MyLoss, self).__init__()
        self.loss_w = loss_w

    def forward(self, preds, label):
        loss = 0
        for pred, w in zip(preds, self.loss_w):
            loss += w*paddle.nn.functional.smooth_l1_loss(pred, label)
        return loss

2.2 代码结构

代码	功能
config.py	参数设置
utils.py	功能函数
my_dataset.py	数据集
my_model.py	模型
train.py	训练主程序
predict.py	预测主程序

2.3 一些细节

1. 预处理时全图取中使宽高一致，再缩放为512*512
2. 训练数据增强选用了颜色抖动和随机翻转
3. 学习率采用warmup和线性递减，基准学习率为1e-3
4. 优化器采用Momentum
5. 后处理时在局部邻域取灰度最低点作为最终结果

2.4 可视化

不得不说visualdl可视化太棒了，哪怕只是简单的画一下loss和evaluate曲线，都感觉对训练过程把控好很多。

创建日志：

vdl_writer = visualdl.LogWriter(vdl_path)

写入监控变量：

vdl_writer.add_scalar('train/loss', loss_scalar, iters)

在AI Studio的数据模型可视化模块中便可以看到需要的变量曲线。

3. 复现说明

3.1 安装依赖库

本项目运行依赖paddleseg包，可采用pip命令一键安装。

# 安装paddleseg
!pip install paddleseg

3.2 下载并解压数据集

由于版权要求，比赛数据下载链接在报名后可见。

# 下载比赛数据，报名比赛后在比赛页面可查看下载地址
!wget https://xxxxxxxxxxxxxxx/task2_Fovea_localization.zip
# 解压至competition_data文件夹
!unzip task2_Fovea_localization.zip -d competition_data

3.3 训练

模型参数已配置好，执行work/目录下的train.py脚本即可一键启动训练。此外在models/目录下有训练好的checkpoint，也可以不训练直接跳转3.4步获取模型预测结果。

!cd ~/work && python -W ignore train.py

3.4 预测

执行work/目录下的predict.py脚本即可一键获取可提交的csv文件，可以拿来作为参考。
但不建议直接拿来提交！！！

!cd ~/work && python -W ignore predict.py

4. 不足与改进

原本想借鉴YOLO的思路，把题目建模为“分块回归”问题，即把黄斑中央凹可能存在的区域划分为若干网格，首先通过分类确定中央凹点在哪个网格内，再通过回归确定最终位置，如图所示：



但实现以后发现效果不如直接回归的，大概是参数调的不够好吧。