图像处理与视觉感知复习--三维重建基础

完整的摄像机模型（摄像机内外参数）

• 径向畸变：图像像素点以畸变中心为中心点，沿着径向产生的位置偏差，从而导致图像中所成的像发生形变

理解三个参考系

1. 摄像机坐标系
2. 像平面坐标系
3. 图像保存到计算机中的像素坐标系（将坐标原点从中心移到左下角）

因此需要移动（偏置）将米为单位转换成以像素为单位
$$\begin{gathered} (x,y,z)\to (f\cdot k\cdot \frac{x}{z}+c_x,f\cdot l\cdot \frac{y}{z}+c_y) \\ 单位k,l为pixel/mf:m \end{gathered}$$

由于焦距 $f$ 和 $k/l$ 都是相机内部的参数，所以将其转换成一个参数$\alpha ,\beta$

因此有将摄像机坐标系中的点 $(x,y,z)$ 转换成像素坐标系下的二维点 $(x^{\prime },y^{\prime })$

齐次坐标系中的投影变换

齐次坐标转换

1. 如何将一个坐标转换成齐次坐标呢？这里以二维和三维的情况为例：
   ( x , y ) ⇒ [ x y 1 ]       ( x , y , z ) ⇒ [ x y z z ] (x, y) \rightarrow \begin{bmatrix} x \\ y \\ 1 \end{bmatrix}\ \ \ \ \ (x, y, z) \rightarrow \begin{bmatrix} x \\ y \\ z \\ z \end{bmatrix} (x,y)⇒ ​xy1​ ​     (x,y,z)⇒ ​xyzz​ ​

2. 如何将一个齐次坐标变回去呢？
   [ x y w ] ⇒ ( x w , y w )       [ x y z w ] ⇒ ( x w , y w , z w ) \begin{bmatrix} x \\ y \\ w \end{bmatrix} \rightarrow (\frac{x}{w}, \frac{y}{w}) \ \ \ \ \ \begin{bmatrix} x \\ y \\ z \\ w \end{bmatrix} \rightarrow (\frac{x}{w}, \frac{y}{w}, \frac{z}{w}) ​xyw​ ​⇒(wx​,wy​)      ​xyzw​ ​⇒(wx​,wy​,wz​)

由此可见两者不是一一对应的关系

投影变换
将非线性变换转换成线性变换

为了描述方便讲齐次坐标的字母 $p_h^{\prime }\to p^{\prime }$, $p_h\to p$
后续没有特殊说明，所有坐标均采用齐次坐标表示，因此不在使用h下标标识
有对应关系
p ′ = [ α 0 c x 0 0 β c y 0 0 0 1 0 ] ⋅ [ x y z 1 ] = m p p' = \begin{bmatrix} \alpha & 0 & c_x & 0 \\ 0 & \beta & c_y & 0 \\ 0 & 0 & 1 & 0\end{bmatrix} \cdot \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = m p p′= ​α00​0β0​cx​cy​1​000​ ​⋅ ​xyz1​ ​=mp
由于摄像机制造工业垃圾，像素不一定是正方向，也可能是平行四边形，因此存在一个夹角 $\theta$
因此在 $m$ 这个矩阵中加入 $theta$ 参数，实现从摄像机坐标系中的点转换到没有制作好的相机像素坐标系中
p ′ = [ α − α c o t θ c x 0 0 β s i n θ c y 0 0 0 1 0 ] ⋅ [ x y z 1 ] p' = \begin{bmatrix} \alpha & -\alpha cot \theta & c_x & 0\\ 0 & \dfrac{\beta}{sin \theta} & c_y & 0\\ 0 & 0 & 1 & 0 \end{bmatrix} \cdot \begin{bmatrix} x \\ y \\ z \\1 \end{bmatrix} p′= ​α00​−αcotθsinθβ​0​cx​cy​1​000​ ​⋅ ​xyz1​ ​

注：$cot\theta =\frac{cos\theta }{sin\theta }$

因此这样得到的 $m$ 矩阵称为投影矩阵, 另一种写法为 $k\left[\begin{array}{cc}i& 0\end{array}\right]p$

注：
k = [ α − α c o t θ c x 0 β s i n θ c y 0 0 1 ]       [ i 0 ] = [ 1 0 0 0 0 1 0 0 0 0 1 0 ] k = \begin{bmatrix} \alpha & -\alpha cot \theta & c_x \\ 0 & \dfrac{\beta}{sin \theta} & c_y\\ 0 & 0 & 1\end{bmatrix} \ \ \ \ \ \begin{bmatrix}i & 0 \end{bmatrix} = \begin{bmatrix}1 & 0 & 0 & 0 \\ 0 & 1 & 0 &0 \\ 0 & 0 & 1 & 0\end{bmatrix} k= ​α00​−αcotθsinθβ​0​cx​cy​1​ ​     [i​0​]= ​100​010​001​000​ ​表示一个 $3\times 3$ 的单位矩阵其余元素为0， 同时将 $k$ 叫做摄像机的内参数矩阵， 可以看出来有五个自由度 $\alpha ,\beta ,\theta ,c_x,c_y$

规范化摄像机（中间的一种性质）
同时引入世界坐标系（第四个坐标系）， 为了使我们描述事物更加的方便。
同时，我们就要多做一步转换（将世界坐标系的坐标($p_w$)转换到摄像机坐标系的坐标§）
$$p=\left[\begin{array}{cc}r& t\\ 0& 1\end{array}\right]\cdot p_w$$
其中旋转矩阵 $r$ 为一个 $3\times 3$的矩阵， 平移矩阵 $t$ 为 $x,y,z$ 三个方向， 因此凑在一块是个四行四列的矩阵, $r$ 和 $t$ 与相机的摆放位置有关。
因此有：
$$p^{\prime }=k\left[\begin{array}{cc}i& 0\end{array}\right]p=k\left[\begin{array}{cc}i& 0\end{array}\right]\left[\begin{array}{cc}r& t\\ 0& 1\end{array}\right]p_w=k\left[\begin{array}{cc}r& t\end{array}\right]p_w=m{p}_w$$

问题：各个符号的物理意义及其维度分别是什么？

问题：投影矩阵m有多少个自由度？
k：有五个自由度（上面有提）
r：有三个自由度（沿x, y, z旋转的角度）
t：有三个自由度（沿x, y, z平移的距离）
因此一共有11个自由度。



问题：p’转换成欧式坐标该如何写？

$m_1,m_2,m_3$ 为一行4列的向量，分块矩阵思想，在根据齐次转换成欧式坐标的方法即可。

问题如何判断一个m矩阵是否有摄像机与它对应？
定理：
首先进行一个变换
$$m=k\left[\begin{array}{cc}r& t\end{array}\right]=\left[\begin{array}{cc}kr& kt\end{array}\right]=\left[\begin{array}{cc}a& b\end{array}\right]$$
令 $m=(ab)$ 为 $3\times 4$ 的矩阵，$a_i^t(i=1,2,3)$ 表示有矩阵 $a$ 的行

• m是透视投影矩阵的一个充分必要条件是 $det(a)\ne 0$(行列式的值不为0，满秩矩阵)
• m是零斜透视投影矩阵的一个充分必要条件是 $det(a)\ne 0$ 且
  $$(a_1\times a_3)\cdot (a_2\times a_3)=0$$
• m是零倾斜且宽高比为1的透视投影矩阵的一个充分必要条件是 $det(a)\ne 0$
  $$\{\begin{array}{l}(a_1\times a_3)\cdot (a_2\times a_3)=0\\ (a_1\times a_3)\cdot (a_1\times a_3)=(a_2\times a_3)\cdot (a_2\times a_3)\end{array}$$

投影变换的性质：

1. 点投影成点
2. 线投影成线
3. 近大远小
4. 角度不再保持
5. 平行线相交

摄像机标定

摄像机标定，即求解摄像机内、外参数矩阵；摄像机内外参数矩阵描述了三维世界到二维像素的映射关系。
为了更精简符号将 $p_w\Rightarrow p,p^{\prime }\Rightarrow p$
有 $$p=mp=k\left[\begin{array}{cc}r& t\end{array}\right]p$$

一个点可以获得两个方程，要解11个未知量要用多余六对点来解，使用最小二乘法获得最优解。
注意：这些点不能位于同一个平面

将已知的参数 $m$ 转换成 $\left[\begin{array}{cc}a& b\end{array}\right]$, 其中 a = [ a 1 t a 2 t a 3 t ] a = \begin{bmatrix}a_1^t \\ a_2^t \\ a_3^t \end{bmatrix} a= ​a1t​a2t​a3t​​ ​, 因此$a_1,a_2,a_3,b$ 为已知变量，进行数学运算, 其中利用的重要性质是

1. $r_1与r_2和r_3的点乘为0，r_1与r_2的叉乘为r_3$以此类推，
2. 向量的模等于向量的转置乘以它自己

可以解得：
$$内参数：\{\begin{array}{l}\rho =\frac{\pm 1}{a_3}(与实际之间相差的比例)\\ \\ u_0={\rho }^2(a_1\cdot a_3),v_0={\rho }^2(a_2\cdot a_3)\\ \\ cos\theta =-\frac{(a_1\times a_3)\cdot (a_2\times a_3)}{|a_1\times a_3|\cdot |a_2\times a_3|}\\ \\ \alpha ={\rho }^2|a_1\times a_3|sin\theta ,\beta ={\rho }^2|a_2\times a_3|sin\theta \end{array}$$

$$外参数\{\begin{array}{l}{r}_1=\frac{(a_2\times a_3)}{|a_2\times a_3|},r_3=\frac{\pm a_3}{|a_3|},r_2=r_3\times r_1\\ \\ t=\rho k^{-1}b(t为3\times 1的矩阵，里面三个平移参数)\end{array}$$

有畸变的摄像机标定，不考pass

单视图几何

无穷远点、无穷远线、无穷远平面

x ∞ = [ x 1 ′ x 2 ′ 0 ] x_{\infty} = \begin{bmatrix}x'_1 \\ x'_2 \\ 0 \end{bmatrix} x∞​= ​x1′​x2′​0​ ​
第三维为0，就表示齐次坐标向欧式坐标转换的时候分母为零，因此表示无穷远点

设两个平行线 l = [ a b c ] ,    l ′ = [ a ′ b ′ c ′ ] l= \begin{bmatrix}a \\ b \\ c \end{bmatrix}, \ \ l' = \begin{bmatrix}a' \\ b' \\ c' \end{bmatrix} l= ​abc​ ​,  l′= ​a′b′c′​ ​，求两条线的交点，就是求两个向量$l^{\prime },l$的叉乘结果
l × l ′ = [ b − a 0 ] = x ∞ l \times l' = \begin{bmatrix}b \\ -a \\ 0 \end{bmatrix} = x_{\infty} l×l′= ​b−a0​ ​=x∞​
由此可以看到一条直线的无穷远点，就是这条方向的方向 $-\frac{b}{a}$取出来后面加个0

无穷远线可以认为平面上线的方向的集合。无穷远点集位于称为无穷远线的一条线上。
l ∞ = [ 0 0 1 ] l_\infty = \begin{bmatrix}0 \\ 0 \\ 1 \end{bmatrix} l∞​= ​001​ ​
证明：任意的无穷远点 [ x 1 x 2 0 ] ⋅ [ 0 0 1 ] = 0 \begin{bmatrix}x_1 \\ x_2 \\ 0 \end{bmatrix} \cdot \begin{bmatrix}0 \\ 0 \\ 1 \end{bmatrix} = 0 ​x1​x2​0​ ​⋅ ​001​ ​=0在这条直线上

三维空间中的无穷远点
定义：

1. 平行平面在无穷远处交于一条公共线，即无穷远直线；
2. 两条或多条无穷远直线的集合定义为无穷远平面

同理可知 无穷远点 x ∞ = [ a b c 0 ] ,   无穷远平面 π ∞ = [ 0 0 0 1 ] 无穷远点x_\infty = \begin{bmatrix}a \\ b \\ c \\ 0 \end{bmatrix}, \ \ 无穷远平面\pi_\infty = \begin{bmatrix} 0 \\ 0\\ 0\\ 1 \end{bmatrix} 无穷远点x∞​= ​abc0​ ​,  无穷远平面π∞​= ​0001​ ​

影消点、影消线

线的变化要取逆转置

• 影消点：三维空间中的无穷远点在图像平面上的投影点

图像中的两条直线的交点如果在影消线上；则这两条线是3d空间中的平行线

影消点与直线方向：已知影消点和摄像机内部参数可以求对应直线为摄像机坐标系的方向为
$$d=\frac{k^{-1}}{||k^{-1}v||}$$

影消线与平面法向量：$n$为平面法向量、$k$为摄像机内参数，$l_h$为影消线
有$$n=k^t{l}_h$$

三维重建基础与极几何

极几何、本质矩阵与基础矩阵

• 极几何：描述了同一场景或物体的两个视点图像间的几何关系
• 本质矩阵：对规范化摄像机(内参数是单位矩阵)拍摄的两个视点图像间的极几何关系进行代数描述
• 基础矩阵：对一般的透视摄像机拍摄的两个视点的图像间的极几何关系进行代数描述
• 基础矩阵f:刻画了两幅图像的极几何关系，即相同场景在不同视图中的对应关系，f包含摄像机内参数信息，应用：三维重构，多视图匹配
  
  
  $$e=t\times r=[t_{\times }]r,e称为本质矩阵,有p^{\prime t}ep=0$$

基础矩阵就是要现将摄像机转变为规范相机$p_c=k^{-1}p,p_c^{\prime }=k^{\prime -1}{p}^{\prime }$

f称为基础矩阵
$$f=k^{\prime -t}[t_{\times }]r{k}^{-1}$$
知道一个视图的点$p$和基础矩阵就能知道另一个视图的极线

• $p$ 对应的极线是 $l^{\prime }（l^{\prime }=fp）$
• $p^{\prime }$ 对应的极线是 $l(l=f^t{p}^{\prime })$
• $fe=0与e^{\prime t}f=0$
• f是奇异的(秩为2）
• f有7个自由度（$det(f)=0$减少了一个自由度，尺度是无法确定的）

求 $f$ 的方法：归一化八点法：

1. 分别计算左图和右图的 $t$ 和 $t^{\prime }$
2. 坐标归一化：$q_i=t{p}_i,q_i^{\prime }=t^{\prime }{p}_i^{\prime }$
3. 通过八点法计算矩阵 $f_q$
4. 逆归一化 $f=t^{\prime t}{f}_{q}t(f_q是通过奇异值分解svd将最后一行变为0后的结果)$

双目立体视觉

视差或深度的推导过程

极几何特例：平行视图

• 两个图像平面平行
• 基线平行于图像平面，极点 $e$ 和 $e^{\prime }$位于无穷远处
  
  平行视图的基础矩阵 f = [ e × ′ ] k ′ r k − 1 = [ e × ′ ] = [ 0 0 0 0 0 − 1 0 1 0 ] f = [e'_\times] k' r k^{-1} = [e'_\times] = \begin{bmatrix}0 & 0 & 0 \\ 0 & 0 & -1 \\ 0 & 1 & 0 \end{bmatrix} f=[e×′​]k′rk−1=[e×′​]= ​000​001​0−10​ ​

极线就为 l = f t p ′ = [ 0 0 0 0 0 1 0 − 1 0 ] [ p u ′ p v ′ 1 ] = [ 0 1 − p v ′ ] l = f^t p' = \begin{bmatrix}0 & 0 & 0 \\ 0 & 0 & 1 \\ 0 & -1 & 0 \end{bmatrix} \begin{bmatrix}p_u' \\ p_v' \\ 1 \end{bmatrix} = \begin{bmatrix}0 \\ 1 \\ -p'_v \end{bmatrix} l=ftp′= ​000​00−1​010​ ​ ​pu′​pv′​1​ ​= ​01−pv′​​ ​

• 极线是水平的平行于 $u$ 轴
• 极点位于无穷远
• $p$ 和 $p^{\prime }$ 的 $v$ 坐标一样

因此简化都从一个视角找另一个视角的对应点，只需要沿着扫描线寻找即可

俯视寻找集合关系：
利用相似性质

$p_u^{\prime }在左边视图的位置是作个平行线于视图的交点$
因此有求p点距离$o_1,o_2$ 的距离
$$z=\frac{bf}{p_u-p_u^{\prime }}$$
而$p_u-p_u^{\prime }$ 就称之为视差， 视差与深度 $z$ 成反比

更具体的几何关系：