一、图形API

首先我们要知道什么是OpenGL以及其他相关的API有哪些。

OpenGL：（Open Graphics Library）是一个跨平台、夸编程语言的编程图形程序接口，它将计算机的资源抽象称为一个个OpenGL的对象，对这些资源的操作抽象为一个个OpenGL指令。【针对PC端（Mac、Windows）的图形图像渲染处理】

OpenGL ES：（OpenGL for Embedded Systems）是OpenGL三维图形API的子集。针对手机、PDA和游戏主机等嵌入式设备而设计，去除了许多不必要的和性能较低的API接口。【针对移动端（iOS、Android）】

Metal：苹果为游戏开发者推出了新的平台技术Metal，该技术能够为3D图像提高10倍的渲染性能。Metal是Apple为了解决3D渲染而推出的框架。【苹果底层渲染是由Metal来实现的】

DirectX：（Windows下的一个多媒体处理框架）是由很多API组成的，DirectX并不是一个单纯的图形API，最重要的是DirectX是属于Windows下的一个多媒体处理框架，它并不支持Windows以外的平台使用，所以不是跨平台的框架。按照性质分类，可分为4部分：显示部分、声音部分、输入部分和网络部分。

那么，图形API目的是为了解决什么问题？

简单来说就是实现图形的底层渲染。及：渲染问题。

• 比如系统针对按钮、图片、视图、图层的渲染问题
• 比如在游戏开发中，对于游戏场景/游戏人物的渲染
• 比如在音视频开发中，对于视频解码后的数据渲染
• 比如在地图引擎，对于地图上的数据渲染
• 比如在核心动画中，实现动画的绘制操作（旋转、缩放、移动、图层特效）
• 比如在视频处理中，对于视频加上滤镜效果

知识拓展：

OpenGL与OpenCV：
OpenGL用来做渲染（显示位图）。
OpenCV用来做识别（人脸识别/身份识别/物体识别），大多与人工智能有关。face++也可以做识别功能。

OpenGL/OpenGL ES与Metal：

苹果于2014年推出Metal来提升自己的渲染性能，逐渐开始弃用OpenGL/OpenGL ES的语法，但是弃用不代表不能使用（类似推出了swift之后oc仍然是可用）。

在2018年之前渲染部分（CoreAnimation）是基于OpenGL ES封装上层框架，在2018年苹果做出布局，把底层渲染迁移到了Metal。

迁移替代的原因：1、很多项目使用的是OpenGL ES第三方，苹果为了契合开发者能用自定义需求以及迭代问题，并且不可能一直把重要的渲染核心框架使用第三方，于是推出了Metal。2、在没有Metal之前OpenGL ES只能通过GPU进行图形的处理，无法调度GPU进行项目中高度的大量的自定义的并发运算，于是苹果在Metal中给了这样的入口，可以充分调用GPU来完成这件事情。

OpenGL/OpenGL ES/Metal在任何项目中解决问题的本质：就是利用GPU芯片来高效渲染图形图像。（图形API是iOS开发者唯一接近GPU的方式）

二、名词解析

1、context：OpenGL的上下文（是一个庞大的状态机，记录保持一些状态）

• 在应用程序调用任何OpenGL的指令之前，要先创建一个OpenGL的上下文。这个上下文是一个非常庞大的状态机，保存了OpenGL中的各种状态，这也是OpenGL指令执行的基础
• OpenGL的函数不管在哪个语言中，都是类似C语言一样的面向过程的函数，本质上都是对OpenGL上下文这个庞大的状态机中的某个状态或者对象进行操作，使用之前要先把这个对象设置成当前对象。因此，通过对OpenGL指令的封装，是可以将OpenGL的相关调用封装成为一个面向对象的图形API *由于OpenGL上下文是一个巨大的状态机，切换上下文往往会产生较大的开销，但是不同的绘制模块，可能需要使用完全独立的状态管理。因此可以在应用程序中分别创建多个不同的上下文，在不同线程中使用不同的上下文，上下文之间 共享纹理、缓冲区等资源 。这样的方案，会比反复切换上下文，或者大量修改渲染状态，更加合理高效的。

2、状态机（理论上是一种机器）

我们可以理解为： 状态机描述了一个对象在其生命周期内所经历的各种状态、状态间的转变、发生转变的动因、条件及转变中所执行的活动。 或者说，状态机是一种行为，说明对象在其生命周期中响应事件所经历的状态序列以及对那些状态事件的响应。 因此有以下特点：

• 有记忆功能（能记住当前的状态）
• 可以接收输入（根据输入的内容和自己的原先状态，修改自己当前状态，并且可以有对应输出）
• 当进入特殊状态（停机状态）的时候，将不再接收输入，停止工作

拓展：
OpenGL里的状态机，可以这么理解：

• OpenGL可以记录自己的状态（比如：当前使用的颜色、是否开启了什么什么功能等）
• OpenGL可以接收输入（当调用OpenGL函数的时候，实际上可以看成OpenGL在接收我们的输入。比如：我们调用glColor3f函数，意思就是OpenGL接收到这个输入后会修改自己的“当前颜色”这个状态）
• OpenGL可以进入停止状态，不再接受输入。在程序退出前，OpenGL总会先停止工作的

3、渲染

将图片、图形、按钮、视频等数据转换成2D空间图像，将其显示绘制到屏幕的操作及过程

4、顶点数组（VertexArray）和顶点缓冲区（VertexBuffer）

OpenGL中的图像都是由图元组成，在OpenGL ES中，有3中图元类型：点、线、三角形。 顶点：绘制图形时顶点位置的数据 顶点数据存储方式： 存储在内存中，就是【顶点数组】 存储在GPU提前分配的显存中，就是【顶点缓冲区】 （这种方式更高效）

拓展：位图（纹理）
我们平时所常见的jpg、png等图片属于压缩图片，这些压缩图片到我们的计算机里面都需要解压成位图。假设一张图片分辨率是120*120。那么它就有14400个像素点，每个像素点都是由RGBA进行相应的存储，RGBA中每一个颜色都需要占用8位，（1字节=8位）所以占4个字节，那么这个图片位图的大小就是 14400 * 4 。所以说位图是比较大的，直接进行传输、存储计算机可能会出现一些问题，因此有了压缩、解压

5、管线

管线是一个抽象的概念，在OpenGL下渲染图形，就会经历一个一个节点，这样的操作交管线。

可以理解为一个流水线，这个流水线有一个固定顺序进行操作，需要按照先后顺序一个个进行执行

6、固定管线/存储着色器

是一个封装好的shader程序，只需要传入特定参数进行执行渲染操作。
固定管线：不能自定义编程。
可编程管线：可自定义的，目前OpenGL仅有2个可编程的程序：顶点着色器、片元着色器

7、着色器程序（shader）

OpenGL调用绘制函数之前，需要指定一个由shader编译成的着色器程序。常见的着色器：

• 顶点着色器、
• 片元着色器/像素着色器（只是OpenGL和DX中不同的叫法）、
• 几何着色器、
• 曲面细分着色器。

通常我们写的方法/函数（代码段），是给CPU使用的。那么，着色器shader（代码段）就是给GPU使用的。
固定着色器：苹果提供的API，直接传入参数调用
自定义着色器：基于GLSL语法来编写的自定义代码段

8、顶点着色器（VertexShader）

用来处理顶点相关的代码；顶点着色器是逐顶点运算的程序，即每个顶点数据都会执行一次顶点着色器，当然是并行的，并且顶点着色器运算过程中无法访问其他顶点的数据。在这里会进行，顶点坐标由‘自身坐标系’转换到‘归一化坐标系’的运算。

• 确定顶点的位置
• 处理图形每个顶点的变换（旋转、平移、投影等位置换算）
• 手机屏幕实际上是2D的，如果显示3D，就需要把3D图形数据转换成2D进行投影换算

9、片元着色器（FragmentShader）

片元：就是屏幕中的像素点
所以片元着色器就是处理屏幕中一个一个的像素点。它是逐像素点运算的程序，每一个像素都会执行一次片元着色器，也是并行的。
（比如120 x 120的图片进行运算，执行14400次，对于CPU是很多次，但是对于GPU来说是小意思，因为GPU是并行运算的）

**举例：**图片饱和度是如何进行调整的？

是在片元着色器中进行一个个像素点的修改

10、GLSL（OpenGL Shading Language）

OpenGL着色语言，进行自定义着色器编程。遵循OpenGL的标准调度GPU来做计算

11、光栅化（Rasterization）

不可编程。在图元装配过程中体现，通过两部分工作（1、定图形的像素范围；2、把颜色附着上去。）产生片元。

具体描述：

• 光栅化：把顶点数据转换成片元的过程。（片元中没一个元素对应于帧缓冲区中的一个像素）
• 光栅化：将几何图元编程二维图像的过程。（该过程包含了上文描述的2个过程）
• 光栅化：将模拟信号转化成离散信号的过程。把物体的数学描述以及物体相关的颜色信息转换成屏幕上用于对应位置的像素及用于填充像素的颜色。

12、纹理

可以理解为图片。在渲染图形时需要在其编码填充图片，可以使场景更加逼真。 在OpenGL中，我们习惯把图片称作纹理。

13、混合（Blending）

举例说明：有2个不同颜色的图层，这两个图层叠加在一起，会发生颜色混合，产生新的颜色。
这个颜色混合行为是经过OpenGL的混合算法计算出来的，也可以通过片元着色器进行实现，当然性能会差一些

14、变换矩阵（Transformation）

用于图形想要发生 平移、缩放、旋转等变换操作时使用

15、投影矩阵（Projection）

用于3D坐标转换为2D屏幕坐标时使用，实际线条也将在二维坐标下进行绘制

16、渲染上屏/交换缓冲区（SwapBuffer）

• 渲染缓冲区一般映射的是系统的资源，比如窗口。如果将图像直接渲染到窗口对应的渲染缓冲区，则可以将图像显示到屏幕上
• 但是，如果每个窗口只有一个缓冲区，那么在绘制过程中屏幕进行了刷新，窗口可能显示不出完整的图像
• 为了解决上述问题，常规的OpenGL程序至少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有显示的称为离屏缓冲区。在一个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区进行交换，实现图像在屏幕上的显示
• 由于显示器的刷新一般是逐行进行的，因此为了防止交换缓冲区的时候屏幕上下区域分属于两个不同的帧，因此交换一般会等待显示器刷新完成的信号，在显示器两次刷新的间隔进行交换，这个信号被称为垂直同步信号，这个技术被称为垂直同步。
• 使用了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进行下一帧的渲染，使得帧率无法完全达到硬件允许的最高水平。为了解决这个问题，引入了三缓冲区技术，在等待垂直同步时，来回交替渲染两个离屏的缓冲区，而垂直同步发生时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利用硬件性能的目的