我要评论前言
一、语义分割
1.1 分割类任务的定义
分割类任务是一种密集标注任务，即将图像中每个像素赋予一个语义或者实例标签。
1.2 语义分割的应用场景
1.3 常用数据集
1.3.1 pascal voc dataset
voc数据集是计算机视觉主流数据集之一，由牛津大学、比利时鲁汶大学等高校的视觉研究组联合发布，可以用作分类，分割，目标检测，动作检测和人物定位五类任务，包含21个类别标签，训练1464，验证1449，测试1456。
1.3.2 ms coco dataset
ms coco（microsoft common objects in context dataset）是微软发布的一个大规模物体检测，分割及文字定位数据集，支持目标检测、实例分割、全景分割、stuff segmentation、关键点检测、看图说话等任务类型，包含80个对象类别。
1.3.3 ade20k dataset
ade20k数据集由 mit csail 研究组发布，涵盖广泛的场景和对象类别，可用于场景感知、解析、分割、多物体识别和语义理解。该数据集构建了一个场景解析基准，包含150个对象和素材类。
1.3.4 cityscapes dataset
cityscapes是由奔驰自动驾驶实验室、马克思·普朗克研究所、达姆施塔特工业大学联合发布的图像数据集，专注于对城市街景的语义理解。 该数据集包含50个城市不同场景、不同背景、不同街景，以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注，共有5000张精细标注的图像和2万张粗略标注的图像。
1.4 评价指标（重点）
平均交并比 (mean intersection over union, miou) ——每个类别的所有像素去计算交并比
1.5 语义分割方法
1.5.1 基于滑动窗的提取图像块后分类
基于滑动窗提取图像块然后对图像块的中心进行分类
1.5.2 用cnn计算整幅图的特征
用cnn计算整幅图的特征，然后在其上进行标签预测
1.5.3 全卷积网络
【方案一】
设计只含有卷积层而没有降采样操作的神经网络，这样可以同时对所有像素进行标签预测
【方案二】
设计包含卷积层、下采样操作和上采样操作的神经网络。
【插值】
【逆池化】
【转置卷积】
【上采样结构总结】
【u-net】
1.5.4 deeplab系列
【deeplab v1】
【deeplab v2】
【deeplab v3】
【deeplab v3+】
1.5.5 pspnet
1.5.6 hrnet
二、实例分割
2.1 实例分割的概念
实例分割 可以近似看为 目标检测 + 语义分割
2.2 mask r-cnn
2.3 评价指标（重点）
2.4 实例分割效果
发表评论