一文看懂图像格式 RAW、RGB、YUV、Packed/Unpacked、Bayer、MIPI、Planar、Semi-Planar、Interleaved_内存

一、通用属性

1. packed/unpacked

2. 压缩/非压缩

二、raw

有的人，错过了，一生再也找寻不到。

本文详细分析各种图像格式（raw、rgb、yuv）的分类、内存分布。一篇文章让你看懂。

一、通用属性

1. packed/unpacked

一个像素点占n个bit，如果n不是8的倍数，那么就有packed、unpacked的概念。试想某格式一个像素10bit（比如raw10），如果unpacked，那么实际一个像素要占2byte=16bit，其中前10bit才有图像数据，后6bit占位（一般是0）。如果是packed，那么就没有占位。

2. 压缩/非压缩

为方便大尺寸图像存储、传输，常用压缩的方法进行。

对于isp而言，常见压缩算法有flc（fixed length compression）、afbc（arm frame buffer compression），jpeg等。

下文所讲内存分布均指非压缩格式，因为压缩后的内存分布由算法决定。

二、raw

raw的含义是“未经处理加工”。

raw图像是ccd/cmos等sensor直接采集到的图像，是光信号转化为电信号时的电平高低的原始记录。

1. bayer格式

raw一般采用bayer格式（单个像素为r/g/b光强信息）进行排列，由于人眼对绿色更加敏感，因此增加对绿光的采样。主要有四种排序：

rggb
bggr
grbg
gbrg

举例一个像素是8*8的sensor，bggr格式的raw图像：

要么你可能会问，一个像素只有一种颜色r/g/b，那我们看到的图像比如第一个像素不一定是只有b。因为后面会插值计算出每个pixel的其他分量！以降低功耗。

2. 分类

raw8：1 pixel 8 bits
raw10unpacked：1 pixel 2 bytes（16bits，有6bit没用）
raw10packed：1 pixel 10 bits
raw12unpacked/raw12packed
raw14unpacked/raw14packed
raw16
......

raw格式很大，往往需要压缩处理存入ddr。

3. mipi raw

mipi raw要按照mipi raw的存储规则来存储。举例来说，对于mipi raw10，5个byte（40bits）就可以存4个像素的数据（4*10bits）。

三、rgb

每个像素由三原色r/g/b组成，注意和raw的区别，raw每个像素只有一个三原色。

四、yuv

yuv是用一个亮度分量y和两个色度分量u，v来描述一个颜色。只有y的话就是灰度图像。

1. yuv与rgb转换

yuv转rgb

r = y + 1.13983 * v
g = y - 0.39465 * u - 0.58060 * v
b = y + 2.03211 * u

rgb转yuv

y = 0.299 * r + 0.587 * g + 0.114 * b
u = -0.14713 * r - 0.28886 * g + 0.436 * b
v = 0.615 * r - 0.51499 * g - 0.10001 * b

2. 分类

由于人眼对y的敏感度远超对u、v的敏感度，所以有时可用多个y共用一组u、v，既节省了空间又保证了质量。

常用格式分类：

yuv420，4个y共用一套uv，数据个数1.5*w*h
yuv422，2个y共用一套uv，数据个数2*w*h
yuv444，不共用，1个y一套uv，数据个数3*w*h

如果一个像素是8bit，那么存储占用对于yuv420就是1.5*w*h*8 bits=1.5*w*h bytes 。

yuv的内存分布按y、u、v三个分量的排列顺序，可分为

planar，三个分量分开存放
semi-planar，y分量单独存放，uv分量交错一起存放
packed/interleaved，三个分量交错一起存放

注意：这里的packed和图像的packed是两个概念！这里的packed指的是所有像素分量交错；图像的packed是一个像素点n bits无空位排列。

i420（也叫yu12，属于yuv420 planar）

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

yyyy
yyyy
uu
vv

当然，对于计算机内存来说，只是从某个addr开始一直存储，先存y再存u再存v

yv12（属于yuv420 planar）

总数据个数w*h+0.25*w*h+0.25*w*h=1.5*w*h

yyyy
yyyy
vv
uu

nv12（属于yuv420 semi-planar）

总数据个数w*h+0.5*w*h=1.5*w*h

yyyy
yyyy
uvuv

nv21（属于yuv420 semi-planar）

总数据个数w*h+0.5*w*h=1.5*w*h

yyyy
yyyy
vuvu

i422（属于yuv422 planar）