图像分割涨点技巧。从39个Kaggle竞赛中总结出的分割Tips和Tricks

import skimage

img_dog = skimage.feature.blob_dog(image, min_sigma=1, max_sigma=50, sigma_ratio=1.6, threshold=2.0, overlap=0.5, *, exclude_border=False)
img_doh = skimage.feature.blob_doh(image, min_sigma=1, max_sigma=30, num_sigma=10, threshold=0.01, overlap=0.5, log_scale=False)
img_log = skimage.feature.blob_log(image, min_sigma=1, max_sigma=50, num_sigma=10, threshold=0.2, overlap=0.5, log_scale=False, *, exclude_border=False)

API参考：

skimage.feature.blob_dog

skimage.feature.blob_doh

skimage.feature.blob_log

使用基于patch的输入进行训练，为了减少训练时间。
使用cuDF加载数据，不要用Pandas，因为读数据更快。

cuDF是一个Python GPU DataFrame库（基于Apache Arrow列式内存格式构建），用于加载、连接、聚合、过滤和以其他方式操作数据。cuDF还提供了一个类似pandas的API，数据工程师和数据科学家将很熟悉，因此他们可以使用它轻松地加速工作流程，而无需深入了解CUDA编程的细节。示例代码：

import cudf
df = cudf.DataFrame({'a': list(range(20)),
                     'b': list(reversed(range(20))),
                     'c': list(range(20))
                    })
df

确保所有的图像具有相同的方向。（这一点，很有意思，我也有体会，若使用transform进行图像随机旋转，那么在预测时将预测图片旋转后再投票集成的方式会提高一定分数）
在进行直方图均衡化的时候，使用对比度限制。
直方图均衡化（CLAHE）的时候使用kernel size为32×32

import cv2

out1 = cv2.equalizeHist(image)#图像均衡化
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))#限制对比度自适应直方图均衡化,第二条的建议是tileGridSize改为(32,32)
out2 = clahe.apply(image)

API参考:

cv2.equalizeHist

cv2.createCLAHE

使用OpenCV进行通用的图像预处理。
使用自动化主动学习，添加手工标注。(这个没太理解，手工标注不建议哈~而且一般赛事明确备注手工标注属于作弊行为)
将所有的图像缩放成相同的分辨率，可以使用相同的模型来扫描不同的厚度。
将扫描图像归一化为3D的numpy数组。
对单张图像使用暗通道先验方法进行图像去雾。

代码实现可看暗通道去雾经典算法复现以及paddlers.transforms.dehaze

将所有图像转化成Hounsfield单位（放射学中的概念）。
使用RGBY的匹配系数来找到冗余的图像。
开发一个采样器，让标签更加的均衡。
对测试图像打伪标签来提升分数。
将图像/Mask降采样到320x480。（我猜测应该是resize）
将DCM转化为PNG。（DCM图是医学领域的图片格式的一种，python使用第三方库pydicom读取）

import pydicom
import matplotlib.pyplot as plt

in_path = 'xxx.dcm'
ds = pydicom.read_file(in_path)  #读取.dcm文件
img = ds.pixel_array  # 提取图像信息
plt.imshow(img)
plt.show()

当有冗余图像的时候，为每个图像计算md5 hash值。(计算这干嘛，没看懂。。。)

(四) 数据增强

使用 albumentations 进行数据增强。(这个库被作者引用多次)
使用随机90度旋转。

API参考:

paddle.vision.transforms.rotate(img, angle, resample=False, expand=False, center=None, fill=0)

paddle.vision.transforms.RandomRotation(degrees, interpolation=‘nearest’, expand=False, center=None, fill=0, keys=None)

paddleseg.transforms.transforms.RandomRotation(max_rotation=15, im_padding_value=(127.5, 127.5, 127.5), label_padding_value=255)

使用水平翻转，上下翻转。

API参考:

paddle.vision.transforms.RandomVerticalFlip(prob=0.5, keys=None)

paddle.vision.transforms.RandomHorizontalFlip(prob=0.5, keys=None)
paddleseg.transforms.transforms.RandomHorizontalFlip(prob=0.5)
paddleseg.transforms.transforms.RandomVerticalFlip(prob=0.1)

可以尝试较大的几何变换：弹性变换，仿射变换，样条仿射变换，枕形畸变。

retval = cv2.getAffineTransform(src, dst)#仿射变换

API参考:

cv2.getAffineTransform

弹性形变代码参考

paddleseg.transforms.transforms.RandomAffine(size=(224, 224), translation_offset=0, max_rotation=15, min_scale_factor=0.75, max_scale_factor=1.25, im_padding_value=(128, 128, 128), label_padding_value=255)

使用随机HSV。
使用loss-less增强来进行泛化，防止有用的图像信息出现大的loss。
应用channel shuffling。
基于类别的频率进行数据增强。
使用高斯噪声。

def gasuss_noise(image, mean=0, var=0.001):
  ''' 
    添加高斯噪声
    mean : 均值 
    var : 方差
  '''
  image = np.array(image/255, dtype=float)
  noise = np.random.normal(mean, var ** 0.5, image.shape)
  out = image + noise
  if out.min() < 0:
    low_clip = -1.
  else:
    low_clip = 0.
  out = np.clip(out, low_clip, 1.0)
  out = np.uint8(out*255)
  #cv.imshow("gasuss", out)
  return out

API参考:

paddleseg.transforms.transforms.RandomNoise(prob=0.5, max_sigma=10.0)

对3D图像使用lossless重排来进行数据增强。
0到45度随机旋转。

paddle.vision.transforms.RandomRotation(degrees, interpolation='nearest', expand=False, center=None, fill=0, keys=None)
paddleseg.transforms.transforms.RandomRotation(max_rotation=15, im_padding_value=(127.5, 127.5, 127.5), label_padding_value=255)

从0.8到1.2随机缩放。

API参考:

paddle.vision.transforms.Resize(size, interpolation=‘bilinear’, keys=None)

paddle.vision.transforms.resize(img, size, interpolation=‘bilinear’)

ppdet.data.transform.operators.RandomResize(target_size, keep_ratio=True, interp=cv2.INTER_LINEAR, random_size=True, random_interp=False)

亮度变换。

API参考:

paddle.vision.transforms.adjust_brightness(img, brightness_factor)

paddle.vision.transforms.BrightnessTransform(value)

paddleseg.transforms.functional.brightness(im, brightness_lower, brightness_upper)

随机改变hue和饱和度。

API参考:

paddle.vision.transforms.adjust_hue(img, hue_factor)

paddle.vision.transforms.HueTransform(value)

paddle.vision.transforms.SaturationTransform(value)

paddleseg.transforms.functional.hue(im, hue_lower, hue_upper)

paddleseg.transforms.functional.saturation(im, saturation_lower, saturation_upper)

然后这里添加对比度调整以及自动调整对比度、饱和度、色调的参考API：

paddle.vision.transforms.adjust_contrast(img, contrast_factor)

paddle.vision.transforms.ContrastTransform(value)

paddle.vision.transforms.ColorJitter(brightness=0, contrast=0, saturation=0, hue=0, keys=None)

contrast(im, contrast_lower, contrast_upper)

使用D4增强。
在进行直方图均衡化的时候使用对比度限制。(同上)
使用AutoAugment增强策略。

(五) 模型结构

没什么好说的，PaddleSeg里有大量的模型，可以自行选择，很方便

使用U-net作为基础结构，并调整以适应3D的输入。
使用自动化主动学习并添加人工标注。
使用inception-ResNet v2 architecture结构使用不同的感受野训练特征。
使用Siamese networks进行对抗训练。
使用ResNet50, Xception, Inception ResNet v2 x 5，最后一层用全连接。
使用global max-pooling layer，无论什么输入尺寸，返回固定长度的输出。
使用stacked dilated convolutions。
VoxelNet。
在LinkNet的跳跃连接中将相加替换为拼接和conv1x1。
Generalized mean pooling。
使用224x224x3的输入，用Keras NASNetLarge从头训练模型。
使用3D卷积网络。
使用ResNet152作为预训练的特征提取器。
将ResNet的最后的全连接层替换为3个使用dropout的全连接层。
在decoder中使用转置卷积。
使用VGG作为基础结构。
使用C3D网络，使用adjusted receptive fields，在网络的最后使用64 unit bottleneck layer 。
使用带预训练权重的UNet类型的结构在8bit RGB输入图像上提升收敛性和二元分割的性能。
使用LinkNet，因为又快又省内存。
MASKRCNN
BN-Inception
Fast Point R-CNN
Seresnext
UNet and Deeplabv3
Faster RCNN
SENet154
ResNet152
NASNet-A-Large
EfficientNetB4
ResNet101
GAPNet
PNASNet-5-Large
Densenet121
AC-GAN
XceptionNet (96), XceptionNet (299), Inception v3 (139), InceptionResNet v2 (299), DenseNet121 (224)
AlbuNet (resnet34) from ternausnets
SpaceNet
Resnet50 from selim_sef SpaceNet 4
SCSEUnet (seresnext50) from selim_sef SpaceNet 4
A custom Unet and Linknet architecture
FPNetResNet50 (5 folds)
FPNetResNet101 (5 folds)
FPNetResNet101 (7 folds with different seeds)
PANetDilatedResNet34 (4 folds)
PANetResNet50 (4 folds)
EMANetResNet101 (2 folds)
RetinaNet
Deformable R-FCN
Deformable Relation Networks

(六) 硬件设置

列举的硬件很乱，没什么条理，也不知道为什么要用这些硬件，也没多少人会为了一个比赛买新硬件吧~能随意购买硬件的土豪还会在乎比赛奖金吗？

(七) 损失函数

损失函数是很重要的，也是小白调节参数的最直接最简单的方式

Dice Coefficient ，因为在不均衡数据上工作很好。

API参考：

paddle.nn.functional.dice_loss(input, label, epsilon=1e-05)

paddleseg.models.losses.DiceLoss(weight=None, ignore_index=255, smooth=1.0)

Weighted boundary loss 目的是减少预测的分割和ground truth之间的距离。
MultiLabelSoftMarginLoss 使用one-versus-all损失优化多标签。
Balanced cross entropy (BCE) with logit loss 通过系数来分配正负样本的权重。

API参考：

paddle.nn.BCELoss(weight=None, reduction=‘mean’, name=None)

paddle.nn.functional.binary_cross_entropy(input, label, weight=None, reduction=‘mean’, name=None)

paddleseg.models.losses.BCELoss(weight=None, pos_weight=None, ignore_index=255, edge_label=False)

paddle.nn.functional.binary_cross_entropy_with_logits(logit, label, weight=None, reduction=‘mean’, pos_weight=None, name=None)

paddle.nn.BCEWithLogitsLoss(weight=None, reduction=‘mean’, pos_weight=None, name=None)

Lovasz 基于sub-modular损失的convex Lovasz扩展来直接优化平均IoU损失。

API参考：

paddleseg.models.losses.LovaszSoftmaxLoss(ignore_index=255, classes=‘present’)

paddleseg.models.losses.LovaszHingeLoss(ignore_index=255)

FocalLoss + Lovasz 将Focal loss和Lovasz losses相加得到。

API参考：

paddleseg.models.losses.FocalLoss(alpha=0.25, gamma=2.0, ignore_index=255)

paddleseg.models.losses.MultiClassFocalLoss(num_class, alpha=1.0, gamma=2.0, ignore_index=255)

Arc margin loss 通过添加margin来最大化人脸类别的可分性。
Npairs loss 计算y_true 和 y_pred之间的npairs损失。
将BCE和Dice loss组合起来。
LSEP – 一种成对的排序损失，处处平滑因此容易优化。
Center loss 同时学习每个类别的特征中心，并对距离特征中心距离太远的样本进行惩罚。
Ring Loss 对标准的损失函数进行了增强，如Softmax。
Hard triplet loss 训练网络进行特征嵌入，最大化不同类别之间的特征的距离。
1 + BCE – Dice 包含了BCE和DICE损失再加1。
Binary cross-entropy – log(dice) 二元交叉熵减去dice loss的log。
BCE, dice和focal 损失的组合。
Lovasz Loss，即损失对平均交叉点进行直接优化，而不是联合损失
BCE + DICE - Dice损失通过计算平滑的dice系数得到。
Focal loss with Gamma 2 标准交叉熵损失的升级。
BCE + DICE + Focal – 3种损失相加。
Active Contour Loss 加入了面积和尺寸信息，并集成到深度学习模型中。
1024 * BCE(results, masks) + BCE(cls, cls_target)
Focal + kappa – Kappa是一种用于多类别分类的损失，这里和Focal loss相加。
ArcFaceLoss — 用于人脸识别的Additive Angular Margin Loss。
soft Dice trained on positives only – 使用预测概率的Soft Dice。
2.7 * BCE(pred_mask, gt_mask) + 0.9 * DICE(pred_mask, gt_mask) + 0.1 * BCE(pred_empty, gt_empty) 一种自定义损失。
nn.SmoothL1Loss()，如果绝对元素误差小于1，则使用平方项，否则使用L1项。

API参考：

paddle.nn.SmoothL1Loss(reduction=‘mean’, delta=1.0, name=None)

paddle.nn.functional.smooth_l1_loss(input, label, reduction=‘mean’, delta=1.0, name=None)

使用Mean Squared Error objective function，在某些场景下比二元交叉熵损失好。

API参考：

paddleseg.models.losses.MSELoss(reduction=‘mean’, ignore_index=255)

paddle.nn.MSELoss(reduction=‘mean’)

paddle.nn.functional.mse_loss(input, label, reduction=‘mean’, name=None)