【CG】计算机图形学（Computer Graphics）基础（其壹）

0 学习视频

B站GAMES101-现代计算机图形学入门-闫令琪

1 什么是计算机图形学

1.1 什么是好的画面？

画面足够亮。如果全局光照做的好，整个画面就会亮，看起来很舒服。

1.2 计算机图形学涉及到的领域

数学（透视）投影、曲线，表面
物理的照明和阴影
表示/操作3D中的形状
动画/仿真
~~硬件编程/写3D应用~~

1.3 为什么学计算机图形学？

创造并与真实虚拟世界交互
需要理解物理世界的所有方面
产生新的计算方法，展示方式，技术

1.4 计算机图形学的应用领域

Video Games（游戏）：不同的游戏风格。
Movies（电影）：特效是最简单的图形学应用。
Animations（动画）：模拟动画中的动效粒子、毛发等。
Design（设计）：灵活的设计效果和交互效果。
Visualization（可视化）：操纵可视化的信息变为视觉信息。
Virtual Reality（虚拟现实）：将现实中的一切放入VR眼镜。
Digital Illustration（板绘）：2D的笔触呈现3D的画面。
Simulation（模拟）：模拟一些常见的自然现象。
GUI（Graphical User Interfaces，图形用户界面）：使用图形的方式与用户交互。
Typography（字体）：矢量的字体可无线放大而不模糊。

1.5 课程概要

Rasterization：光栅化
- 定义：把三维空间中的几何形体显示在屏幕上。
- 实时——每秒钟能够生成30幅画面/帧/FPS（Frame Per Second）
  
  否则是离线。
Curves and Meshes：曲线和网格
- 如何表示一条光滑的曲线，如何表示曲面，如何用简单的曲面通过细分的方法表现更复杂的曲面，如何保证图形的拓扑结构
Ray Tracing：光线追踪
- 动画和电影中着重使用，虽然慢，但效果好
- trade off：为了达成既定的效果，不得不牺牲某些东西
Animation/Simulation：动画/仿真
- 关键帧动画
- 弹簧-滑块系统

1.6 计算机视觉(CV) VS 计算机图形学(CG)

在这里插入图片描述

1.7 IDE(Integrated Development Environment)集成开发环境

推荐的：
- VS/VS Code
- Qt Creator
不推荐的：
- CLion，Eclipse
- Sublime Text，Vi/Vim，Emacs（编辑器）

1.8 图形学依赖学科

图形学依赖于：

基础数学
- 线性代数
- 微积分
- 统计
基础物理
- 光学
- 力学
其他
- 信号处理
- 数值分析
还有一些美学

2 线性代数

向量（点乘、叉乘……）
- 空间中表示一个点就是一种向量表示法
矩阵（矩阵和矩阵乘、矩阵和向量乘）
- 像平移、旋转、缩放一个物体的操作可以转化为矩阵与向量的乘

2.1 向量（Vectors）

2.1.1 向量的基本知识

数学上习惯称为向量，物理上习惯称为矢量
表示：
- $\vec{a}$ 或 a
- 终点向量-起始向量： $\vec{AB}$ = B - A
两个基本要素：方向、大小（长度）
没有绝对的起始位置

2.1.2 向量的正则化（Vector Normalization）

向量的长度写作 $||\vec a||$
单位向量
- 长度为1的向量
- 得到一个向量的单位向量（正则化/归一化/标准化）： $\widehat{a}$ = $\vec{a}$ / $||\vec a||$
- 用于表示方向

2.1.3 向量的加法（Vector Addition）

在这里插入图片描述

几何：平行四边形法则 & 三角形法则
代数：只需简单地加向量坐标即可

2.1.3.1 笛卡尔坐标（Cartesian Coordinates）

在这里插入图片描述

X和Y可以是任何（通常是正交的单位）向量

$\left(\begin {array}{c} x \\ y \\ \end{array}\right)$ $A^T= \left(\begin {array}{c} x,y \end{array}\right)$ $||\vec a|| = \sqrt{x^2+y^2}$

2.1.4 向量的乘法（Vector Multiplication）

2.1.4.1 点乘（Dot(scalar) Product）：得到一个标量（数）

$\vec{a} \cdot \vec{b} = ||\vec a||||\vec b||\cos\theta$

$\cos\theta = \frac{\vec{a} \cdot \vec{b}}{||\vec a||||\vec b||}$

对于单位向量：
- $\cos\theta = \widehat{a}\cdot \widehat{b}$
性质：
- 交换律： $\vec{a} \cdot \vec{b} = \vec{b} \cdot \vec{a}$
- 结合律： $\vec{a} \cdot (\vec{b} + \vec{c}) = \vec{a} \cdot \vec{b} + \vec{a} \cdot \vec{c}$
- 分配律： $(k\vec{a}) \cdot \vec{b} = \vec{a} \cdot (k\vec{b}) = k(\vec{a} \cdot \vec{b})$

2.1.4.1.1 笛卡尔坐标系中的点乘

对应元素相乘，然后相加
- 2D
  
  $\vec{a} \cdot \vec{b} = \left(\begin {array}{c} x_a \\ y_a \\ \end{array}\right)\cdot\left(\begin {array}{c} x_b \\ y_b \\ \end{array}\right)=x_a\cdot x_b + y_a \cdot y_b$
- 3D
  
  $\vec{a} \cdot \vec{b} = \left(\begin {array}{c} x_a \\ y_a \\ z_a \\ \end{array}\right)\cdot\left(\begin {array}{c} x_b \\ y_b \\ z_b \\ \end{array}\right)=x_a\cdot x_b + y_a \cdot y_b + z_a \cdot z_b$

2.1.4.1.2 图形学中的点乘

点乘用来得到两个向量间的夹角。
- 如，光源和表面间夹角的余弦值
点乘用来得到一个向量在另一个向量上的投影。
点乘用来测量两个方向/向量有多接近。
- 金属反光的高光范围
分解向量。
确定前/后方向：点乘的正负。

2.1.4.1.2.1 点乘用来计算投影

在这里插入图片描述

$\vec{b}_\bot$ ： $\vec{b}$ 在 $\vec{a}$ 上的投影
- $\vec{b}_\bot$ 必须沿着 $\vec{a}$ （或沿着 $\widehat{a}$ )
  - $\vec{b}_\bot = k\widehat{a}$
- 它的长度k是多少？
  - $||\vec{b}_\bot||= ||\vec{b}||\cos\theta$

2.1.4.2 叉乘（Cross(vector) Product）：得到一个向量

在这里插入图片描述

叉乘计算出的向量与两个初始向量正交
由右手定则确定的方向（点赞：四指表示从a到b，得到拇指的方向就是叉乘结果的方向）
在后来用于构造3D坐标系

性质（右手坐标系）：

$\vec{x}\times\vec{y}=+\vec{z}$
$\vec{y}\times\vec{x}=-\vec{z}$
$\vec{y}\times\vec{z}=+\vec{x}$
$\vec{z}\times\vec{y}=-\vec{x}$
$\vec{z}\times\vec{x}=+\vec{y}$
$\vec{x}\times\vec{z}=-\vec{y}$

注：一些API如OpenGL中用的是左手坐标系

叉乘没有交换律，要添一个负号：

$\vec{a}\times\vec{b}=-\vec{b}\times\vec{a}$

自身叉乘自身得到长度为0的向量：

$\vec{a}\times\vec{a}=0$

叉乘依然满足分配律和结合律：

$(k\vec{a}) \times \vec{b} = \vec{a} \times (k\vec{b}) = k(\vec{a} \times \vec{b})$

$\vec{a} \times (\vec{b} + \vec{c}) = \vec{a} \times \vec{b} + \vec{a} \times \vec{c}$

2.1.4.2.1 笛卡尔坐标系中的叉乘

$\vec{a}\times\vec{b}= \left(\begin {array}{c} y_az_b- y_bz_a\\ z_ax_b- x_az_b \\ x_ay_b- y_ax_b \\ \end{array}\right)$

向量可以用矩阵形式表示

$\vec{a}\times\vec{b}=A*b= \left(\begin {array}{c} 0 & -z_a & y_a\\ z_a & 0&-x_a \\ -y_a &x_a&0\\ \end{array}\right)\left(\begin {array}{c} x_b\\ y_b \\ z_b \\ \end{array}\right)$

2.1.4.2.2 图形学中的叉乘

确定左/右方向
- 判定b在a的左侧还是右侧：b叉乘a：（右手螺旋定则，朝下）负值：a在b的右侧，b在a的左侧
  - √ a向左旋转得到b（逆时针旋转）：b在a的左侧
  - a向右旋转得到b（顺时针旋转）：b在a的右侧
确定内部/外部
- 判定P是否在三角形内部：内部
  - AB叉乘AP（右手螺旋定则，朝外）：P在AB的左侧
  - BC叉乘BP（右手螺旋定则，朝外）：P在BC的左侧
  - CA叉乘CP（右手螺旋定则，朝外）：P在CA的左侧

2.1.4.2.2.1正交基础/坐标系

重要的是代表点、坐标、位置
通常，有多组坐标系
- 全局，局部，世界，模型，模型的一个部分（头，手……）
关键问题是在这些系统/基础间如何转换

2.1.4.2.2.2 正交坐标系

3D中的任何3个向量

$||\vec{u}||=||\vec{v}||=||\vec{w}||=1$

$\vec{u} \cdot \vec{v}=\vec{v} \cdot \vec{w}=\vec{u} \cdot \vec{w}=0$

$\vec{w} =\vec{u} \times \vec{v}$ （右手坐标系）

利用投影（点乘）进行向量的分解：

$\vec{p} =(\vec{p}\cdot\vec{u})\vec{u}+(\vec{p}\cdot\vec{v})\vec{v}+(\vec{p}\cdot\vec{w})\vec{w}$

2.2 矩阵（Matrices）

图形学中普遍用于表示变换（transformations）
- 平移、旋转、缩放、错切

2.2.1 什么是矩阵

带有数字的数组（m × n：m行，n列）
- 一个3×2的矩阵：
$\left(\begin {array}{c} 1 & 3\\ 5 & 2 \\ 0 &4\\ \end{array}\right)$
矩阵的乘法和加法都是很简单的：对每个元素操作即可

2.2.1.1 矩阵-矩阵乘法

矩阵A的列数必须和矩阵B的行数相等

$(M\times N)(N\times P)=(M\times P)$

$\left(\begin {array}{c} 1 & 3\\ 5 & 2 \\ 0 &4\\ \end{array}\right)\left(\begin {array}{c} 3 & 6 & 9 & 4\\ 2 & 7 & 8 & 3 \\ \end{array}\right)=\left(\begin {array}{c} 9 & 27 & 33 & 13\\ 19 & 44 & 61 & 26 \\ 8 & 28 & 32 & 12 \\ \end{array}\right)$
乘积中元素 (i,j) 是矩阵A的第i行和矩阵B的第 j 列相点乘
性质
- 不满足交换律（ $A B$ 和 $B A$ 通常不同）
- 结合律和分配律
  
  $(A B) C = A (BC)$
  
  $A (B + C) = A B + A C$
  
  $(A + B) C = A C + BC$

2.2.2.2 矩阵-向量乘法

将向量当成是一个一列的矩阵（m×1）
变换顶点的关键
2D中关于y轴对称操作（镜像）

$\left(\begin {array}{c} -1 & 0\\ 0 & 1 \\ \end{array}\right)\left(\begin {array}{c} x \\ y \\ \end{array}\right)=\left(\begin {array}{c} -x \\ y \\ \end{array}\right)$

2.2.2.3 矩阵的转置（Transpose of a Matrix）

交换行和列（ij→ji）

$\left(\begin {array}{c} 1 & 2\\ 3 & 4 \\ 5 &6\\ \end{array}\right)^T=\left(\begin {array}{c} 1 & 3 & 5\\ 2 & 4 &6\\ \end{array}\right)$
性质（乘积的转置=位置调换后分别转置再相乘）

$AB)^T=B^TA^T$

2.2.2.4 单位矩阵和逆矩阵

单位矩阵：对角阵（只有对角线上是非0数）

$I_{3\times3}=\left(\begin {array}{c} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1\\ \end{array}\right)$

逆矩阵的性质与转置矩阵的性质类似。

$AA^{-1}=A^{-1}A=I$

$AB^{-1}=B^{-1}A^{-1}$

2.2.2.5 矩阵形式的向量乘法

点乘

$\vec{a} \cdot \vec{b}=\vec{a} ^T \vec{b}=\left(\begin {array}{c} x_a & y_a & z_a\\ \end{array}\right)\left(\begin {array}{c} x_b \\ y_b \\ z_b \\ \end{array}\right)=(x_ax_b+y_ay_b+z_az_b)$
叉乘（向量a写成A*）

$\vec{a} \times \vec{b}=A*\vec{b}=\left(\begin {array}{c} 0 & -z_a & y_a\\ z_a & 0 & -x_a\\ -y_a & x_a & 0\\ \end{array}\right)\left(\begin {array}{c} x_b \\ y_b \\ z_b \\ \end{array}\right)$

2.3 变换

2.3.1 为什么学习变换

模型变换（Modeling）：translation，rotation，scaling
视图变换（Viewing）：（3D到2D）投影变换

2.3.2 2D中的变换：缩放，旋转，平移

齐次坐标系下：
Scale： $S(s_x,s_y)=\left(\begin {array}{c} s_x & 0 & 0\\ 0 & s_y & 0\\ 0 & 0 & 1\\ \end{array}\right)$

Rotation： $R(\alpha)=\left(\begin {array}{c} \cos\alpha & -\sin\alpha & 0\\ \sin\alpha & \cos\alpha & 0\\ 0 & 0 & 1\\ \end{array}\right)$

Translation： $T(t_x,t_y)=\left(\begin {array}{c} 1 & 0 & t_x\\ 0 & 1 & t_y\\ 0 & 0 & 1\\ \end{array}\right)$

用矩阵表示变换

2.3.2.1 缩放变换（Scale）

2.3.2.1.1 均匀缩放

$x\prime=sx$

$y\prime=sy$

$\left[\begin {array}{c} x\prime \\ y\prime \\ \end{array}\right]=\left[\begin {array}{c} s & 0 \\ 0 & s\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]$

其中， $\left[\begin {array}{c} s & 0 \\ 0 & s\\ \end{array}\right]$ 是缩放矩阵。

2.3.2.1.2 非均匀缩放

$\left[\begin {array}{c} x\prime \\ y\prime \\ \end{array}\right]=\left[\begin {array}{c} s_x & 0 \\ 0 & s_y\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]$

2.3.2.2 对称矩阵变换

水平翻转：
$x\prime=-x$

$y\prime=y$

$\left[\begin {array}{c} x\prime \\ y\prime \\ \end{array}\right]=\left[\begin {array}{c} -1 & 0 \\ 0 & 1\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]$

2.3.2.3 错切矩阵变换

$y = 0$ 时，水平位移为0
$y = 1$ 时，水平位移为a
垂直方向偏移始终为0

$\left[\begin {array}{c} x\prime \\ y\prime \\ \end{array}\right]=\left[\begin {array}{c} 1 & a \\ 0 & 1\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]$

2.3.2.4 2D的旋转变换

默认关于原点逆时针旋转

$R_\theta=\left[\begin {array}{c} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta\\ \end{array}\right]$

推导过程：

在这里插入图片描述

旋转-θ°：

如果一个矩阵的逆等于它的转置，则称该矩阵为正交矩阵。

2.3.2.5 线性变换=矩阵变换（相同维度）

$x\prime=ax+by$

$y\prime=cx+dy$

$\left[\begin {array}{c} x\prime\\ y\prime\\ \end{array}\right]=\left[\begin {array}{c} a&b\\ c&d\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]$

$x\prime=Mx$

2.3.3 齐次坐标系(Homogeneous coordinates)

2.3.3.1 为什么要用齐次坐标系

平移变换：

$x\prime=x+t_x$

$y\prime=y+t_y$

上述变换不能用矩阵形式表示。因此，平移变换不是线性变换，但是我们却不希望平移变换被当成特殊的情况考虑。

$\left[\begin {array}{c} x\prime\\ y\prime\\ \end{array}\right]=\left[\begin {array}{c} a&b\\ c&d\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ \end{array}\right]+\left[\begin {array}{c} t_x\\ t_y\\ \end{array}\right]$

2.3.3.2 解决办法：齐次坐标

添加一个维度（w维）：

$二维的顶点=(x,y,1)^T$
$二维的向量=(x,y,0)^T$

向量具有平移不变性。加0是为了保护它。

如果结果为1或0，则为有效操作

$v ec t or + v ec t or = v ec t or$
$p o in t - p o in t = v ec t or$
$p o in t + v ec t or = v ec t or$
$p o in t + p o in t = ??$
- $p o in t + p o in t = 两点中点$

2.3.3.3 平移变换的矩阵表示

$\left(\begin {array}{c} x\prime\\ y\prime\\ w\prime\\ \end{array}\right)=\left(\begin {array}{c} 1&0&t_x\\ 0&1&t_y\\ 0&0&1\\ \end{array}\right)\cdot\left(\begin {array}{c} x\\ y\\ 1\\ \end{array}\right)=\left(\begin {array}{c} x+t_x\\ y+t_y\\ 1\\ \end{array}\right)$

2.3.3.4 在齐次坐标系中

$\left(\begin {array}{c} x\\ y\\ w\\ \end{array}\right)$ 表示二维中的点 $\left(\begin {array}{c} x/w\\ y/w\\ 1\\ \end{array}\right)，w≠0$

2.3.3.5 仿射变换

仿射映射=线性映射+平移

$\left(\begin {array}{c} x\prime\\ y\prime\\ \end{array}\right)=\left(\begin {array}{c} a&b\\ c&d\\ \end{array}\right)\cdot\left(\begin {array}{c} x\\ y\\ \end{array}\right)+\left(\begin {array}{c} t_x\\ t_y\\ \end{array}\right)$

仿射变换用齐次坐标形式表示：

$\left(\begin {array}{c} x\prime\\ y\prime\\ 1\\ \end{array}\right)=\left(\begin {array}{c} a&b&t_x\\ c&d&t_y\\ 0&0&1\\ \end{array}\right)\cdot\left(\begin {array}{c} x\\ y\\ 1\\ \end{array}\right)$

仿射变换中变换矩阵的最后一行永远是0 0 1，平移参数永远是写在最后一列的前两个数

2.3.3.6 逆变换

$M^{-1}$ 是变换 $M$ 的逆变换，具有矩阵（逆矩阵）和几何（做了 $M$ 变换再做逆变换，相当于什么都没做）意义。

在这里插入图片描述

2.3.4 组合变换

在这里插入图片描述

先平移后旋转45°？

先旋转45°后平移！

所有变换都能够通过基本变换得到
变换的顺序很重要（矩阵乘法的顺序性）
- 即矩阵乘法不满足交换律
  - $R_{45}\cdot T_{(1,0)}≠T_{(1,0)}\cdot R_{45}$
- 操作顺序：先旋转（在目标矩阵左侧写旋转变换矩阵，得到的结果），后平移（在旋转得到的结果矩阵左侧写平移变换矩阵）
  - 注意矩阵是从右向左逐个地应用的
    $T_{(1,0)}\cdot R_{45}\left[\begin {array}{c} x\\ y\\ 1\\ \end{array}\right]=\left[\begin {array}{c} 1&0&1\\ 0&1&0\\ 0&0&1\\ \end{array}\right]\left[\begin {array}{c} \cos45\degree&-\sin45\degree&0\\ \sin45\degree&\cos45\degree&0\\ 0&0&1\\ \end{array}\right]\left[\begin {array}{c} x\\ y\\ 1\\ \end{array}\right]$

2.3.4.1 组合变换的推广应用

仿射变换序列 $A 1 ， A 2 ， A 3 ， \dots$

按矩阵乘法组合
- 对性能非常重要
- 矩阵乘法没有交换律，但是有结合律（先乘前面的矩阵，再乘上最后的矩阵）

2.3.4.2 分解复杂的组合变换

如何以任意一个点c为中心旋转？

将该中心点c转换为原点
旋转
平移回来（从原点移回c点）

在这里插入图片描述

矩阵表示：

$T(c)\cdot R(\alpha)\cdot T(-c)$

2.3.5 3D中的变换

同样引入齐次坐标：

$三维的顶点=(x,y,z,1)^T$
$三维的向量=(x,y,z,0)^T$

类似的， $(x, y, z, w) (w \neq = 0)$ 表示三维中的点 $(x / w, y / w, z / w)$

使用4×4的矩阵表示仿射变换：

$\left(\begin {array}{c} x\prime\\ y\prime\\ z\prime\\ 1\\ \end{array}\right)=\left(\begin {array}{c} a&b&c&t_x\\ d&e&f&t_y\\ g&h&i&t_z\\ 0&0&0&1\\ \end{array}\right)\cdot\left(\begin {array}{c} x\\ y\\ z\\ 1\\ \end{array}\right)$

仿射变换中变换矩阵的最后一行永远是0 0 0 1，平移参数永远是写在最后一列的前三个数。

2.3.5.1 顺序是怎样的？

先线性变换，再平移。

2.3.5.2 3D中的缩放、平移、旋转

齐次坐标系下：
Scale： $S(s_x,s_y,s_z)=\left(\begin {array}{c} s_x & 0 & 0&0\\ 0 & s_y & 0&0\\ 0 & 0 & s_z&0\\ 0 & 0 & 0&1\\ \end{array}\right)$

Translation： $T(t_x,t_y,t_z)=\left(\begin {array}{c} 1 & 0 & 0&t_x\\ 0 & 1 &0& t_y\\ 0 & 0&1 & t_y\\ 0 & 0 & 0&1\\ \end{array}\right)$

在这里插入图片描述

Rotation：绕x轴、y轴、z轴旋转
$R_x(\alpha)=\left(\begin {array}{c} 1 & 0 & 0&0\\ 0 & \cos\alpha & -\sin\alpha&0\\ 0 & \sin\alpha & \cos\alpha&0\\ 0 & 0 & 0&1\\ \end{array}\right)$

$R_y(\alpha)=\left(\begin {array}{c} \cos\alpha & 0 & \sin\alpha&0\\ 0 & 1 & 0&0\\ -\sin\alpha & 0 & \cos\alpha&0\\ 0 & 0 & 0&1\\ \end{array}\right)$

$R_z(\alpha)=\left(\begin {array}{c} \cos\alpha & -\sin\alpha & 0&0\\ \sin\alpha & \cos\alpha & 0&0\\ 0 & 0 & 1&0\\ 0 & 0 & 0&1\\ \end{array}\right)$

$z$ 叉乘 $x$ 得到 $y$ ，而不是 $x$ 叉乘 $z$ ，因此 $R_y$ 看起来与 $R_x$ 、 $R_z$ 有所不同。

2.3.5.3 3D旋转组合

根据 $R_x$ 、 $R_y$ 、 $R_z$ 构造任意的3D旋转：

$R_{x,y,z}(\alpha,\beta,\gamma)=R_x(\alpha)R_y(\beta)R_z(\gamma)$

所谓的欧拉角
常用于飞行模拟器：滚动（roll）、俯仰（pitch）、偏航（yaw）

在这里插入图片描述

2.3.5.4 罗德里格斯旋转公式

2.3.5.4.1 绕n轴旋转α角

在这里插入图片描述

2.3.5.4.2 如何推导

在这里插入图片描述

2.3.6 观测变换（Viewing transformation）

2.3.6.1 视图/摄像机变换（View /Camera transformation）

2.3.6.1.1 什么是视图变换

想想怎么拍一张照片（mvp变换）

找一个好地方并把人员组织好（模型变换）
找一个好的“角度”架设摄像机（视图变换）
茄子！（投影变换）

2.3.6.1.2 如何表示视图变换

首先需要定义摄像机：

位置（Position） $\vec{e}$
查看/凝视方向（Look-at / gaze direction） $\widehat{g}$
向上方向（Up direction） $\widehat{t}$

(假设是Perp模式去查看)

在这里插入图片描述

关键观测点（Key observation）

如果摄像机和所有的物体一起移动，那么“相片”都将是一样的

始终把摄像机视为：

处在原点，以y轴方向为向上方向，看向-z轴
其他物体跟随着相机移动

通过 $M_{view}$ 转换相机：

所以它处在原点，以 $Y$ 轴方向为向上方向，看向 $- Z$ 轴

在这里插入图片描述

$M_{view}$ 的数学表示：

$M_{view}=R_{view}T_{view}$

将 $e$ 转换为原点
$T{view}=\left[\begin {array}{c} 1 & 0 & 0&-x_e\\ 0 & 1 & 0&-y_e\\ 0 & 0 & 1&-z_e\\ 0 & 0 & 0&1\\ \end{array}\right]$
将 $g$ 旋转到 $- z$
将 $t$ 旋转到 $y$
将 $(g \times t)$ 旋转到 $x$

考虑其逆旋转： $x$ 到 $(g \times t)$ ， $y$ 到 $t$ ， $z$ 到 $- g$

$R^{-1}_{view}=\left[\begin {array}{c} x_{\widehat{g}\times \widehat{t}} & x_t & x_{-g}&0\\ y_{\widehat{g}\times \widehat{t}} & y_t & y_{-g}&0\\ z_{\widehat{g}\times \widehat{t}} & z_t & z_{-g}&0\\ 0 & 0 & 0&1\\ \end{array}\right]$ 转换成 $R_{view}=\left[\begin {array}{c} x_{\widehat{g}\times \widehat{t}} & y_{\widehat{g}\times \widehat{t}} & z_{\widehat{g}\times \widehat{t}}&0\\ x_t & y_t & z_t & 0\\ x_{-g} & y_{-g}&z_{-g}&0\\ 0 & 0 & 0&1\\ \end{array}\right]$

正交矩阵：逆=转置

2.3.7 投影变换（Projection transformation）

2.3.7.1 计算机图形学中的投影

3D到2D
正交投影：常用于工程制图
透视投影：近大远小，与人眼成像原理相同
透视投影 vs 正交投影

2.3.7.2 正交投影（Orthographic projection）

一种简单的理解方式
- 摄像机位于原点，看向 $- Z$ 轴，向上方向是 $Y$ 轴
- 忽略掉 $Z$ 轴
- 将矩形结果转换到 $1,1]^2$ 上
一般来说
- 我们想映射一个长方体 $[l,r]\times[b,t]\times\textbf{[f,n]}$ 到“canonical（正则、规范、标准）”的立方体 $1,1]^3$
  - 定义一个长方体
    - $[l, r]$ ： $X$ 轴上左<右
    - $[b, t]$ ： $Y$ 轴上下<上
    - $\textbf{[f,n]}$ ： $\textbf{-Z}$ 轴上远<近
  - 把该立方体的中心平移到原点
  - 缩放成“标准”立方体
- 变换矩阵
  - 首先平移（立方体中心到原点），然后缩放（长/宽/高到2）
    $M_{ortho}=\left[\begin {array}{c} \frac{2}{r-l} & 0 & 0&0\\ 0 & \frac{2}{t-b} &0 & 0\\ 0 & 0&\frac{2}{n-f}&0\\ 0 & 0 & 0&1\\ \end{array}\right]\left[\begin {array}{c} 1 & 0 & 0&-\frac{r+l}{2}\\ 0 &1 &0 & -\frac{t+b}{2}\\ 0 & 0&1&-\frac{n+f}{2}\\ 0 & 0 & 0&1\\ \end{array}\right]$
注意
- 看向 $- Z$ 轴导致near近>far远（n>f）
- 这就是为什么OpenGL（一个图形API）使用左手定则

2.3.7.3 透视投影（Perspective projection）

常用于CG，艺术，视觉领域
近大远小
平行线不再平行；而是收敛到一个点

在这里插入图片描述

回顾：齐次坐标的性质
- $x,y,z,1),(kx,ky,kz,k≠0),(xz,yz,z^2,z≠0)$ 都代表3D中相同的点 $(x, y, z)$
- 例如， $(1, 0, 0, 1)$ 和 $(2, 0, 0, 2)$ 都代表 $(1, 0, 0)$

2.3.7.3.1 如何进行透视投影

在这里插入图片描述

首先将截锥体转化（挤压）为长方体 $n→n,f→f),(M_{persp→ortho})$
其次做正交投影（ $M_{ortho}$ ，已知）
- 摄像机视锥的定义
  - 垂直视野(vertical field-of-view，fovY)和宽高比（aspect ratio）（假设对称，即l=-r，b=-t）
- 如何从fovY和宽高比得到l，r，b，t？

2.3.7.3.2 如何得到变换矩阵

回顾一个关键的想法：找到（挤压后）点 $(x^{'}, y^{'}, z^{'})$ 和原始点 $(x, y, z)$ 转换间的关系

$y\prime=\frac{n}{2}y$ $x\prime=\frac{n}{z}x$
齐次坐标表示：
因此，挤压（透视转化为正交）投影需要做的就是
已经足够弄清楚 $M_{persp→ortho}$ 的一部分值

在这里插入图片描述

如何得到 $M_{persp→ortho}$ 的第三行？

观察到：第三行负责 $z^\prime$
- 任何一个点在近处的平面上不会改变
  - 因此，第三行的形式一定为(0 0 A B)
  根据上述，可以得到：
- 任何一个点z轴在远处的平面上不会变
  
  取远平面的中心点
- 联立上述两式，可求得A与B：
最终，得到了变换矩阵 $M_{persp→ortho}$
接下来
- 做正交投影
- $M_{persp}=M_{ortho}M_{persp→ortho}$

3 光栅化

3.1 规范立方体到屏幕

什么是屏幕？
- 一个像素数组
- 数组的大小：分辨率
- 一种典型的光栅显示
Raster（光栅）== 德语中屏幕的意思
- 光栅化（Rasterize）== 把物体绘制到屏幕上
Pixel（像素，“picture element”的简称）
- 目前来说，一个像素是一种具有均匀颜色的小方块
- 颜色是(red,green,blue)的混合物
定义屏幕空间
- 屏幕的左下角位于坐标原点
- 像素的坐标形式是(x,y)，x和y都是整数
- 像素的范围是从(0,0)到(width-1,height-1)
- 像素(x,y)的中心坐标是(x+0.5,y+0.5)
- 屏幕的覆盖范围是从(0,0)到(width,height)

在这里插入图片描述

规范立方体到屏幕
- 先忽略z轴
- 在xy平面中转换： $1,1]^2$ 到 $[0, w i d t h] \times [0, h e i g h t]$

视口变换矩阵：

$M_{viewport}=\left(\begin {array}{c} \frac{width}{2} & 0 & 0&\frac{width}{2}\\ 0 &\frac{height}{2} &0 & \frac{height}{2}\\ 0 & 0&1&0\\ 0 & 0 & 0&1\\ \end{array}\right)$

3.2 不同的光栅显示设备

Oscilloscope：示波器
Cathode Ray Tube（CRT）：阴极射线管
电视——光栅显示CRT

光栅扫描（调制强度）：

隔行扫描：用于压缩视频，但会产生画面撕裂
帧缓冲区：用于光栅显示的内存
平板显示屏
- LCD（Liquid Crystal Display）显示屏（液晶显示器）
  - 原理：液晶通过自己的不同排布影响光的极化（偏振方向）
- color LCD，OLED显示屏
LED（Light emitting diode，发光二极管）阵列显示屏
电泳（电子墨水）显示屏：刷新率较低

3.3 光栅化三角形

3.3.1 三角形-最基础的多边形

3.3.1.1 为什么是三角形？

在这里插入图片描述

大多数基本多边性都可以分解成三角形
独有的属性
- 保证是平面的
- 内外部明确定义
- 三角形顶点内插值定义明确（重心插值）

3.3.1.2 三角形上一些边界点如何用像素表示

输入：在屏幕上三角形的位置投影
输出：像素集合

在这里插入图片描述

3.3.2 像素的中心点与三角形的位置关系

3.3.2.1 采样函数

在一个点处通过采样的方式评估

采样：将一个函数离散化的过程。

例子：

	for (int x = 0; x < xmax; ++x)
		output[x] = f(x);

采样在图形学中是一个核心思想，可以采样时间（1D），区域（2D），方向（2D），CT卷（3D）。

3.3.2.2 光栅化：2D采样

在这里插入图片描述

3.3.2.3 通过采样判断是否每个像素的中心点都在三角形内部

在这里插入图片描述

3.3.2.4 定义一个返回值是布尔值的函数： $in s i d e (t r i, x, y)$ （x,y不一定是整数）

在这里插入图片描述

3.3.2.5 光栅化=采样一个2D形式函数

	for (int x = 0; x < xmax; ++x)
		for (int y = 0; y < ymax; ++y)
			image[x][y] = inside(tri,x+0.5,y+0.5);

3.3.3 回顾：采样位置

在这里插入图片描述

3.3.3.1 评估采样函数结果

在这里插入图片描述

3.3.3.2 怎么判断一个点是否在三角形内？回顾：三个叉积！

在这里插入图片描述

3.3.3.3 如果一个点恰好在三角形边界上

这个样本点是在三角形1上，还是三角形2上，还是都在？

在这里插入图片描述

要么不做处理，要么做特殊处理。

3.3.3.4 需要检查屏幕上的所有像素吗？

不需要，用一个Bounding Box！（轴向包围盒，AABB）

在这里插入图片描述

增量三角形遍历（适用于窄的、旋转一定角度的三角形）

每一行像素只遍历最左到最右在三角形内的

在这里插入图片描述

3.3.3.5 实际LCD显示屏的光栅化

在这里插入图片描述

注意RGB像素的几何形状，但在计算机图形学中，假设像素是均匀颜色的小方块。

右侧：拜尔阵列（Bayer Pattern）。

人眼对绿色更敏感，绿色像素多些。

3.3.3.6 彩色打印机的屏幕显示方式

减色系统

在这里插入图片描述

3.3.3.7 采样信号显示

在这里插入图片描述

像素填充：锯齿(Jaggies)！

在这里插入图片描述

对比：

在这里插入图片描述

原因：

采样率对于信号来说不够高，产生了信号走样（Aliasing）问题。

在这里插入图片描述

4 抗锯齿/反走样

4.1 采样理论

采样理论普遍应用于计算机图形学：

光栅化：采样2D中的坐标
照片：采样图片传感器平面
视频：采样时间

4.1.1 采样瑕疵（Sampling Artifacts/Errors/Mistakes/Inaccuracies）

锯齿（Jaggies）—— 空间中采样
摩耳轮（Moiré Patterns）—— 下采样图片（空间中采样）
马车车轮幻觉（假运动）Wagon Wheel Illusion（False Motion）——采样时间
……

4.1.2 采样瑕疵的原因

信号变化地太快（频率高），而采样的频率太慢。

4.1.3 如何做反走样——在采样之前先做一个模糊/滤波

4.1.3.1 光栅化——采样空间中的点

在这里插入图片描述

注意已光栅化的三角形中像素值是纯红或纯白的的锯齿

4.1.3.2 光栅化——反走样采样

在这里插入图片描述

注意已光栅化的三角形中像素值取了中心值的抗锯齿边缘

4.1.3.3 点采样VS反走样

4.1.3.3.1 点采样

4.1.3.3.2 反走样

4.1.3.4 模糊与采样的顺序能否颠倒？不行！

原因？

1、为什么下采样会导致走样？

2、为什么预先模糊后采样能反走样？

4.1.4 频域（Frequency Domain）

4.1.4.1 正弦波与余弦波

4.1.4.2 频率

周期 = 频率分之一

4.1.4.3 傅里叶级数展开

任何一个周期函数，都可以把它写成一系列正弦和余弦函数的线性组合以及一个常数项。

在这里插入图片描述

$f(x)=\frac{A}{2}+\frac{2A\cos(t\omega)}{\pi}$

在这里插入图片描述
$f(x)=\frac{A}{2}+\frac{2A\cos(t\omega)}{\pi}-\frac{2A\cos(3t\omega)}{3\pi}$

在这里插入图片描述
$f(x)=\frac{A}{2}+\frac{2A\cos(t\omega)}{\pi}-\frac{2A\cos(3t\omega)}{3\pi}+\frac{2A\cos(5t\omega)}{5\pi}$

在这里插入图片描述
$f(x)=\frac{A}{2}+\frac{2A\cos(t\omega)}{\pi}-\frac{2A\cos(3t\omega)}{3\pi}+\frac{2A\cos(5t\omega)}{5\pi}-\frac{2A\cos(7t\omega)}{7\pi}+…$

4.1.4.4 傅里叶变换：将信号分解为频率（时域→频域）

4.1.4.5 逆傅里叶变换：将频率合成信号

在这里插入图片描述

4.1.4.6 更高的频率需要更高频的采样

4.1.4.7 下采样导致了频率走样

高频信号采样不足：样本错误地看起来来自低频信号。

走样（aliases）：两种信号采用同种采样方式得到的是一样的无法区分的结果。

4.1.5 滤波（Filtering=Getting rid of某个特定频段）

4.1.5.1 可视化图片频段（频谱）

傅里叶变换：时域→频域

4.1.5.2 仅滤去低频（边缘）——高通滤波器（只剩下高频，留下图像的边界）

在这里插入图片描述

4.1.5.3 过滤去高频（模糊）——低通滤波器（只剩下低频，留下基本信息）

在这里插入图片描述

4.1.5.4 过滤去高频和低频

在这里插入图片描述

4.1.6 滤波=卷积（=平均）Filtering = Convolution（=Averaging）

4.1.6.1 卷积

卷积：在滑动窗口的过程中，对应做点乘操作写回信号中心位置。

在这里插入图片描述

4.1.6.2 卷积定理

空间域中的卷积等于频域中的乘积，反之亦然

选项1：

通过空间域中的卷积滤波

选项2：

转换到频域（傅里叶变换）
把卷积内核转换到频域（傅里叶变换），两者相乘（频域结果）
转换为空间域（逆傅里叶变换）

在这里插入图片描述

4.1.6.3 滤波器（卷积和）

在这里插入图片描述

滤波器函数="低通"滤波器

在这里插入图片描述

更宽的卷积内核=较低的频率

在这里插入图片描述

4.1.7 采样=重复原始信号的频谱Sampling=Reapting Frequency Contents

在这里插入图片描述

4.1.8 走样=混叠频谱Aliasing=Mixed Frequency Contents

在这里插入图片描述

4.1.9 反走样

4.1.9.1 如何降低走样瑕疵？

选项1：提高采样频率

关键是增加了傅里叶域中复制频谱之间的距离
更高的分辨率显示，传感器，帧缓存……
但是：代价昂贵且可能需要很高的分辨率

选项2：抗锯齿/反走样

在复制频谱之前对“较窄”的频谱进行傅里叶变换
即在采样前过滤掉高频（留下低频的）

4.1.9.2 反走样 = 限制，再重复

在这里插入图片描述

4.2 实际中的反锯齿

4.2.1 实际中的预滤波器（模糊）

一个1像素宽的盒状滤波器（低通，模糊）

在这里插入图片描述

4.2.2 通过在像素域中进行卷积实现反走样

解决方案：

使用1像素的模糊卷积核卷积f(x,y)
- 回顾：卷积=滤波=平均
然后对每个像素的中心采样

4.2.3 通过计算平均像素值实现反走样

在光栅化一个三角形时，像素域f(x,y)内的平均值 = inside(triangle,x,y)等于三角形覆盖的像素：

在这里插入图片描述

4.2.4 通过更多的采样点反走样Antialiasing By Supersampling（MSAA）

4.2.4.1 超采样Superampling

通过采样一个像素内的多个位置并平均其值来近似估计1像素盒式滤波器的效果：
在这里插入图片描述

4.2.4.2 点采样：每个像素一个样本

在这里插入图片描述

4.2.4.3 超采样：第1步

在每个像素中取 $N\times N$ 的样本：

4.2.4.4 超采样：第2步

计算每个像素“内部”的 $N\times N$ 样本的平均值：
在这里插入图片描述

在这里插入图片描述

4.4.4.5 超采样：结果

以下是显示器发出的相应信号：

在这里插入图片描述

4.2.5 MSAA的代价

计算代价提升

4.2.6 里程碑

除了MSAA，其他反走样方法：

FXAA（Fast Approximate AA）：快速近似反走样，是一种图像后处理操作。
TAA（Temporal AA）：复用上一帧的信息。

4.2.7 超分辨率/超采样

从低分辨率到高分辨率
仍会导致“样本不足”问题
DLSS（Deep Learning Super Sampling）：深度学习超采样

4.3 遮挡与可见性

4.3.1 画家算法

灵感来自油画家如何上色，由远及近，层层覆盖

需要对n个三角形的深度进行排序（ $O (n l o g n)$ ）

以下三角形两两覆盖，形成了环（互相遮挡），画家算法不再适用

在这里插入图片描述

4.3.2 深度缓存（Z-buffering）

深度缓存算法是当前常用的算法。

思路：

存储当前每个样本（像素）的深度值（z-value）
需要一个额外的缓存区存储深度值
- 帧缓存（frame buffer）存储颜色值
- 深度缓存（depth buffer/z-buffer）存储深度

重要提示：

为了简单，假设z轴总是正向的

z越小，越近
z越大，越远

4.3.2.1 深度缓存例子

在这里插入图片描述

4.3.2.2 深度缓存（Z-buffer）算法

初始化深度缓存为∞

在光栅化过程中：
在这里插入图片描述

在这里插入图片描述

4.3.2.3 深度缓存（Z-buffer）算法的复杂度

对于n个三角形：O(n)（假设一个一个覆盖）
如何在线性时间内排序n个三角形？
- 这里并没有排序
- 只是记录最小值，比较
深度缓存算法与绘制三角形的顺序无关，得到的结果都是一致的（假设在同一个像素的深度都是不同的（浮点型表示））

最重要的可见性算法

通过所有的GPU硬件实现

5 着色

5.1 光照与阴影

5.1.1 到目前为止，我们涉及到了什么？

在这里插入图片描述

物体和摄像机在世界中的位置
计算物体相对于摄像机的位置
投影物体到屏幕上
采样三角形的覆盖范围

5.1.2 着色（Shading）的定义

在Merriam-Webster字典中
- 名词
- 用平行线或色块表示插图或图表中的明暗
在计算机图形学中
- 将不同材质应用到不同物体的过程

5.1.3 一个简单的着色模型（ShadingsModel）——Blinn-Phong反射模型

5.1.3.1 透视观察

镜面高光（直接光照）
漫反射
环境光照（间接光照）

在这里插入图片描述

5.1.3.2 着色是局部的

计算在特定着色点光线向摄像机反射的结果

输入：（单位向量只关注方向）

观察者方向Viewer direction： $\vec{v}$
表面的法向量Surface normal： $\vec{n}$
光线方向Light direction： $\vec{l}$ （对于许多灯光）
表面的参数Surface parameters（颜色，亮度，…）

在这里插入图片描述

考虑着色不考虑产生阴影！（shading ≠ shadow）

5.1.3.3 漫反射

光线均匀地散落
- 对于所有地观察方向，表面颜色是相同地
但多少光（能量）被接收了？
- Lanbert的余弦法则

当表面有一定角度时，表面的法线方向与光照方向的夹角是 $cos θ$

5.1.3.4 光的衰减

在这里插入图片描述

5.1.3.5 Lambertian（漫反射）着色

着色与观察方向无关
- $L_d$ ：漫反射光
- $k_d$ ：漫反射系数（颜色(R,G,B)表示）
- $I/r^2)$ ：到达着色点的能量
- $max(0,\vec{n}·\vec{l})$ ：被着色点吸收的能量（取最大值，表示如果点乘是负值，没物理意义，这里考虑的不是折射而是反射）

在这里插入图片描述

产生漫反射效果

在这里插入图片描述

5.1.3.6 镜面高光

镜面高光的强度取决于观察方向

反射方向接近镜面反射方向R

在这里插入图片描述

$\vec{v}$ （观察）方向接近于镜面反射方向 $\Leftrightarrow$ 法线（normal）方向与半程向量（half vector）方向接近

通过单位向量点乘测量方向的“接近程度”

在这里插入图片描述

通常高光是白色，因此 $k_s$ 为(255,255,255)。

5.1.3.7 余弦的指数图

随着指数 $p$ 增加，反射夹角减小。

在这里插入图片描述

产生的高光效果

在这里插入图片描述

5.1.3.8 环境光照

着色不依赖于任何东西

添加不变的颜色忽略照明并填充黑色阴影
这是近似的/假的！

在这里插入图片描述

5.1.3.9 Blinn-Phong反射模型

在这里插入图片描述

5.1.4 着色频率（Shading Frequencies）

在这里插入图片描述

面、点、像素应用着色（插值）。

5.1.4.1 逐三角形着色（平面着色）flat shading

三角形的平面是一个平面——得到一个法向量
不适用于光滑的表面

在这里插入图片描述

5.1.4.2 逐顶点着色（Gouraud shading）

每一个顶点做一次着色，三角形内部的颜色通过插值求得
每个顶点都有一个法向量

在这里插入图片描述

5.1.4.3 逐像素着色（Phong shading）

每一个顶点做一次着色，三角形内部的颜色通过插值求得
对每个像素着色
不是Blinn-Phong反射模型

在这里插入图片描述

5.1.4.4 着色频率：面，顶点还是像素

在这里插入图片描述

5.1.4.5 定义逐顶点的法向量

最理想是通过潜在的几何图形得到顶点的法向量

如，考虑一个球体

否则必须通过三角形平面推断出顶点的法向量

一个简单的方案：求顶点相邻（周围）平面法线的均值（加权平均效果更好，和三角形面积有关）

在这里插入图片描述

5.1.4.6 定义逐像素的法向量

对顶点的法线做重心插值

在这里插入图片描述

别忘了归一化插值方向，变成单位向量

5.2 图形（实时渲染）管线Graphics(Real-time Rendering) Pipeline

在这里插入图片描述

输入在三维空间中的顶点
把顶点投影到屏幕上
得到三角形在屏幕上的投影
光栅化
着色
输出：图像（像素）

5.2.1 图形管线示例

在这里插入图片描述

Shader控制顶点和像素如何着色

在这里插入图片描述

5.2.1.1 着色器程序（Shader Programs）

编程处理顶点vertex和片段fragment阶段
是对一个单一顶点(或片段fragment)如何操作的描述
- 如果写的是对顶点的着色操作，称为顶点着色器（vertax shader）
- 如果写的是对像素的着色操作，称为像素着色器（fragment/pixel shader）
一个GLSL（OpenGL的着色语言）fragment shader的例子：
- 着色器函数每个fragment执行一次
- 在屏幕上采样位置输出当前fragment表面的颜色
- 这个shader执行在该点寻找并获取表面材质的颜色，然后表现漫反射光照计算

在这里插入图片描述

网站推荐：在线编写shader

5.2.1.2 目标：实时渲染高度复杂的3D场景

5.2.1.3 图形管道实现：GPUs（Graphics Pipeline Implementations）

专门用于处理执行图形管线的计算

在这里插入图片描述

5.2.1.4 GPU：异构多核处理器

在这里插入图片描述

5.3 纹理映射

不同位置的颜色不同

在这里插入图片描述

5.3.1 表面是二维的

表面存在于三维空间
任何三维表面的点都是二维的，三维表面对应一张二维图像（纹理）

在这里插入图片描述

5.3.1.1 纹理应用到表面

在这里插入图片描述

5.3.1.2 可视化纹理坐标

每个三角形顶点被表示乘一个纹理坐标(u,v)[0,1]

在这里插入图片描述

5.3.1.3 纹理可被重复使用多次！

在这里插入图片描述

5.4 三角形内部插值：重心坐标

5.4.1 在三角形内部插值

为什么需要插值？

确定顶点的值
在三角形中得到一个平滑过渡的值

需要插入什么值？

纹理坐标，颜色，法向量

5.4.2 重心坐标

5.4.2.1 重心坐标的定义

重心坐标(Barycentric Coordinates)是定义在三角形 $(\alpha,\beta,\gamma)$ 上的一个坐标系

在这里插入图片描述

重心坐标：在三角形ABC所在的平面内，任何一个点 $(x, y)$ 都可以表示乘A、B、C这三个点坐标的线性组合。满足上述式子。

特殊的，如果点 $(x, y)$ 在三角形内部，还需要满足三个坐标系数 $\alpha、\beta、\gamma$ 都是非负的。

5.4.2.2 A、B、C点的重心坐标

在这里插入图片描述

$A (1, 0, 0) B (0, 1, 0) C (0, 0, 1)$

5.4.2.3 任意点的重心坐标——面积比

在这里插入图片描述

5.4.2.4 三角形重心的重心坐标

在这里插入图片描述

5.4.2.5 重心坐标公式

在这里插入图片描述

5.4.3 使用重心坐标

5.4.3.1 对顶点线性插值

在这里插入图片描述

$V_A，V_B，V_C$ 可以是位置，纹理坐标(u,v)，颜色，法向量，深度，材质属性……

然而，在投影变换下，重心坐标不是不变的！

5.5 应用纹理

5.5.1 简单的纹理映射：漫反射颜色

对每个光栅化在屏幕上的样本 $(x, y)$ （通常是一个像素的中心）：

$(u, v)$ =评估在 $(x, y)$ 的纹理坐标（使用重心坐标）

texcolor=texture.sample(u,v);将样本颜色设置为texcolor（通常是漫反射系数Kd）

5.5.2 纹理放大（如果纹理太小了怎么办？）

一般不希望出现这样的情况——纹理分辨率不足

纹理上的一个像素——texel(纹理元素、纹素)

在这里插入图片描述

近似（四舍五入）、双线性插值、双三次插值（取临近的16个点）

5.5.2.1 双线性插值（Bilinear Interpolation）

在这里插入图片描述

5.5.3 纹理放大（如果纹理太大了怎么办？）

5.5.3.1 点采样纹理的问题——走样

在这里插入图片描述

5.5.3.2 在纹理中屏幕像素覆盖的“区域”

在这里插入图片描述

5.5.3.3 超采样（MSAA）能抗走样吗？

可以！但耗费性能！

在这里插入图片描述

5.5.3.4 走样——超采样？

超采样（MSAA）能抗走样吗？

可以，质量高，但耗性能
当高度减少时，一个像素包含很多纹理
一个像素中的信号频率太大
需要更高的采样频率

换一个思路理解这个问题

如果我们不采样呢？
只需要得到一个范围内的平均值！

5.5.3.5 点查询vs.范围(平均值)查询

在这里插入图片描述

5.5.3.6 范围查询

不同的像素→不同的覆盖区域范围大小
在这里插入图片描述

5.5.4 Mipmap——允许（fast，approx.，square）范围查询

Mipmap：快，不准（近似），方形范围查询

5.5.4.1 Mipmap(L. Williams 83)

在这里插入图片描述

引入了多大的额外存储量？

原来的1/3

5.5.4.2 计算Mipmap的第D层

在这里插入图片描述

微分计算

5.5.4.3 Mipmap层的可视化——颜色渐变不连续是到不同的层进行了查询

在这里插入图片描述

5.5.4.4 三线性插值（Trilinear Interpolation）

Mipmap层与层
在这里插入图片描述

5.5.4.5 Mipmap的限制

远处模糊过分了（Overblur）
在这里插入图片描述

5.5.4.6 各向异性过滤（Anisotropic Filtering）——局部解决三线性插值的问题

在这里插入图片描述

Ripmaps和summed区域表

可以查询轴对齐的矩形区域
对角线覆盖范围仍是一个问题

在这里插入图片描述

EWA过滤

使用多查询
加权平均值
Mipmap层级仍有帮助
可以处理不规则的覆盖范围
额外开销是原来的三倍

在这里插入图片描述

5.5.4.7 纹理中不规则的像素覆盖范围

在这里插入图片描述

5.6 纹理的应用

5.6.1 许多，许多纹理的应用

在现代GPU中，纹理=内存+范围查询（过滤）

通常的方法是将数据进行查询（fragment计算）

许多的应用：

环境光照Environment lighting
存储微曲线测定值Store microgeometry
纹理函数Procedural textures
实体建模Solid modeling
批量渲染Volume rendering
……

5.6.1.1 环境贴图Environment Map

在这里插入图片描述

经典模型：犹他壶、斯坦福兔子、斯坦福龙、康奈尔盒子

假设环境光来自无限远处，记录一个方向的即可（从同一个方向来，强度都是一样的），没有深度意义

5.6.1.2 环境光Environment Lighting

在这里插入图片描述

5.6.1.3 球形环境贴图Spherical Environment Map

在这里插入图片描述

5.6.1.4 球形贴图的问题——易失真/扭曲（顶部和底部）！

在这里插入图片描述

5.6.1.5 立方体映射——解决球形贴图的问题

在这里插入图片描述

一个从球心出发的向量映射到立方体沿着该方向打到面上的点

立方体用6个方形纹理映射

在这里插入图片描述

5.6.2 纹理会影响着色！

纹理不仅仅代表颜色
- 如果它存储了高度/法向量呢？
- 凹凸贴图/法线贴图（Bump/normal mapping）
- 假的几何细节

在这里插入图片描述

5.6.2.1 凹凸贴图Bump Mapping

添加表面细节而并不添加更多的三角形

对每个像素垂直平面的的法向量（仅着色计算时）
每个由纹理定义的纹素有一个“高度”
如何修正法向量？

在这里插入图片描述

5.6.2.2 凹凸贴图如何扰动法向量（在平面上flatland）

原本平面的法线 $n (p) = (0, 1)$
$p$ 点的切线 $d p = c * [h (p + 1) - h (p)]$
扰动法线是 $n (p) = (- d p, 1) . n or ma l i ze d ()$ （垂直，逆时针旋转90°，归一化）

在这里插入图片描述

5.6.2.3 凹凸贴图如何扰动法向量（在三维中）

原本平面的法线 $n (p) = (0, 0, 1)$
p点的切线(求导)
- $d p / d u = c 1 * [h (u + 1) - h (u)]$
- $d p / d v = c 2 * [h (v + 1) - h (v)]$
扰动法线是 $n = (- d p / d u, - d p / d v, 1) . n or ma l i ze d ()$
需要注意这是局部坐标系！

5.6.2.4 位移贴图Displacement mapping——一个更高级的方法

与凹凸贴图使用相同的纹理
实际操作时移动顶点位置
需要模型做的很细致，三角形多

在这里插入图片描述

DirectX（图形API）提供一个方法：动态的曲面细分，根据需要做位移贴图

5.6.2.5 3D噪声函数+实体建模

在这里插入图片描述

5.6.2.6 提供预先计算的着色

在这里插入图片描述

5.6.2.7 3D纹理和体渲染

在这里插入图片描述

6 几何Geometry

6.1 几何介绍

6.1.1 几何形体的例子

在这里插入图片描述

6.1.2 几何形体不同的代表

6.1.2.1 许多代表几何的方式

在这里插入图片描述

隐式几何 Implicit
- 代数表面 algebraic surface
- 水平集 level sets
- 距离函数 distance functions
- …
显式几何 Explicit
- 点云 point cloud
- 多边形面 polygon mesh
- 细分 subdivision，非均匀有理b-样条 NURBS
- …