希沃ENOW大前端
公司官网：CVTE(广州视源股份)
团队：CVTE旗下未来教育希沃软件平台中心enow团队
本文作者：
引子
为什么要写这个系列呢? 市面上关于前端的三维渲染的入门教程层出不穷, 有偏重于数学计算原理的, 有偏向于渲染管线流程介绍的, 也有告诉你API怎么用如何快速上手的.
这系列文章期望从零开始去考虑3D渲染引擎的搭建, 从无到有一步一步去构建三维渲染必备的要素和流程, 让读者能够"知其然亦知其所以然", 在这浮躁的环境带来一丝清凉, 愿大家能有所收获, 欢迎交流讨论.
这系列文章以代码Demo为线索, 从这个demo的搭建过程中去深度理解三维渲染的要素和环节. 具有以下特点:
一、不使用webgl技术来完成三维渲染, webgl规范帮我们封装了很多底层实现, 因此也屏蔽了一部分重要的细节, 笔者更希望webgl技术只是提供了对接GPU计算的接口, 让我们可以使用GPU的力量来提升计算效率, 当然不使用GPU仅使用CPU也能做到同样的事, 只不过效率低一些, 但是以学习为目的的话足够了, 反而会使我们更清晰, 因此我们会使用纯粹JS代码来进行所有的运算和绘制并且最终实现一个"3D渲染引擎";
二、我们利用demo的搭建过程来理解三维渲染, 因此在这个过程中我们会分为几个小阶段, 每一个阶段有阶段性目标作为驱动, 有时会用比较简易的方法来达到目的, 当阶段性目标变得更复杂, 可能会推掉之前的部分实现来满足更复杂的需求;
三、既然是以Demo为线索和主体, 所有的代码都是可得的, 在这个仓库里(github.com/ShaojieLiu/…), 期望大家可以去下载并运行, 甚至亲自从零开始一起搭建, 相信能有所收获!
那么我们先亮出我们这一系列的最终目标: 我们会基于2D渲染的API来实现三维渲染引擎. 它可以解析并渲染市面上常用的三维模型数据格式, 具有边框渲染/片元渲染/贴图功能/光照阴影等. 请看以下效果图：
效果一：
效果二：
线框渲染器
小目标
当然, 如果期望一篇文章就可以使读者从零开始搭建出这样一个渲染引擎, 那基本上可以洗洗睡了.
因此我们需要分解这个最终目标, 先定一个小目标: 线框渲染器. 具体来讲如果输入一个立方体模型, 可以输出这样的渲染效果.(勉强还是看得出是一个立方体吧)
Demo仓库介绍
你可以跟着笔者的脚步一步一步自己来实现这些小目标, 也可以走马观花大致了解. 如果你愿意花时间一起学习的话, 可以将这个仓库拉下: github.com/ShaojieLiu/…
根路径下有一个index.html, 打开会看到所有实验汇总的一个目录页面, 由于当前只做了前三个实验, 因此你看到的界面如下图所示.
仓库的目录结构如下所示, 其中index.html为目录页, common为公共函数, 0/1.1/1.2为小实验文件夹. 小实验文件夹内部包括math相关的类, render相关的类, 只要打开index.html即可预览调试该demo.
从一条线开始
正所谓"一生二, 二生三, 三生万物", 讲图形渲染总是会从绘制一条线开始. (本小节代码可以参考demo0)
const main = () => {
const c = document.querySelector('#canvas')
const canvas = Canvas.new(c)
canvas.drawline(Vector.new(50, 50), Vector.new(100, 100), Color.green())
}
Canvas类
我们期望封装一个Canvas类, 它来负责操作真正的canvas DOM进行绘制, 首先它最基本的能力就是drawline.
这里我们使用了canvas.context的API来进行线段的绘制. canvas的API十分简单易用我就不赘述了, 不太熟悉的读者可以在这里查阅:
developer.mozilla.org/zh-CN/docs/…
class Canvas extends GObject {
constructor(canvas) {
super(canvas)
this.canvas = canvas
this.ctx = canvas.getContext('2d')
}
drawline(v1, v2, color) {
const ctx = this.ctx
ctx.beginPath()
// 设置颜色
ctx.strokeStyle = color.toRgba()
// 移动起点
ctx.moveTo(v1.x, v1.y)
// 连接到终点
ctx.lineTo(v2.x, v2.y)
ctx.closePath()
// 绘制path的stroke(边框)
ctx.stroke()
}
}
Vector类
由于我们后续会引入矩阵运算, 因此在这里先引入向量的概念, 向量就是一条有方向的线段, 在三维它可以由x, y, z来表示.
本文更偏向于渲染相关, 一些计算的细节可能不会过度展开, 因此一些方法具体的实现我隐藏了(但是在代码仓库可以找到), 聪明的你看方法名字应该也知道如何实现了.
例如相减/取模/归一/点乘/叉乘 等等, 这里都可以先不看他们.
class Vector extends GObject {
// 表示三维点的类
constructor(x, y, z) {
super()
this.x = x
this.y = y
this.z = z
}
}
Color类
Color类就更简单了, 我们采用rgba来描述颜色, 并封装了不同格式的转换方法, 还有常见的颜色.
class Color extends GObject {
// 表示颜色的类
constructor(r, g, b, a) {
super()
this.r = r
this.g = g
this.b = b
this.a = a
}
toRgba() {
return `rgba(${this.r}, ${this.g}, ${this.b}, ${this.a})`
}
// 常见的几个颜色
static black() {
}
static green() {
}
static blue() {
}
}
demo0
有了以上几个类, 你便可以绘制一条线出来, 得到了下图, 似乎有点...简单. 别急, 很快就要起飞了.
const main = () => {
const c = document.querySelector('#canvas')
const canvas = Canvas.new(c)
canvas.drawline(Vector.new(50, 50), Vector.new(100, 100), Color.green())
}
绘制Mesh网格正视图
Mesh的定义
什么是mesh呢? 形象一点的话, 前面提到的手枪模型可以分为两部分: 黑色的框线, 绿色的面元.
其中黑色的框线就是我们讲的mesh(网状格). 而且这些网状格的每一个格子不是矩形的, 而是三角形.
为什么使用三角形呢? 因为三角形的三个点必定是位于同一个平面的, 所以它是用来描述平面的最小单元, 反观四边形则不然, 因为3点确定一个面因此第4个点有可能是落在这个面之外的, 因此如果用四边形来描述的话, 有可能是一个平面也有可能是两个平面, 所以不太方便.
Mesh类
为此我们引入Mesh类来描述, 它主要由vertices和indices两个内部变量构成. (本小节代码可以参考demo1.1)
接下来我们用一个立方体来举例说明, vertices包含该几何体的所有顶点(8个顶点, 分别是v0到v7), 采用右手坐标系, 顶点的位置关系如下图.
indices是一个嵌套数组, 每个item描述一个三角小平面, 因此包含三个数字分别是指这个三角小平面的三个顶点是vertices数组中的第几个点(点的索引).
这个描述方式不是笔者创造的, 笔者观察了市面上绝大多数的三维模型数据格式(之后会有一节专门讲三维模型数据格式的解析, 在那里我们会展开, 这里先略过), 基本都是采用点+索引来描述面.
所以根据indices的数据, v0 v1 v2组成第一个面, v1 v3 v2组成第二个面, ... 以此类推.
class Mesh extends GObject {
// 表示三维物体的类
constructor() {
super()
this.position = Vector.new(0, 0, 0)
this.rotation = Vector.new(0, 0, 0)
this.scale = Vector.new(1, 1, 1)
this.vertices = null
this.indices = null
}
// 返回一个正方体
//
// v0----- v1
// /| /|
// v4------v5|
// | | | |
// | |v2---|-|v3
// |/ |/
// v6------v7
//
// Coordinates
// 右手坐标系
// Y
// |
// |
// O ------ X
// /
// Z
//
static cube() {
// 8 points
let points = [
-1, 1, -1, // 0
1, 1, -1, // 1
-1, -1, -1, // 2
1, -1, -1, // 3
-1, 1, 1, // 4
1, 1, 1, // 5
-1, -1, 1, // 6
1, -1, 1, // 7
]
let vertices = []
for (let i = 0; i < points.length; i += 3) {
let v = Vector.new(points[i], points[i + 1], points[i + 2])
let c = Color.randomColor()
vertices.push(Vertex.new(v, c))
}
// 12 triangles * 3 vertices each = 36 vertex indices
let indices = [
// 12
[0, 1, 2],
[1, 3, 2],
[1, 7, 3],
[1, 5, 7],
[5, 6, 7],
[5, 4, 6],
[4, 0, 6],
[0, 2, 6],
[0, 4, 5],
[5, 1, 0],
[2, 3, 7],
[2, 7, 6],
]
let m = this.new()
m.vertices = vertices
m.indices = indices
return m
}
}
这里的mesh的定义非常重要, 后续的内容都会基于这个定义, 务必花点时间理解一下.
在这里, 细心的同学会发现vertices不仅包括vector还包括了color, 这里的颜色我们绘制线框不会用到, 但是之后绘制片元的时候会用到.
class Vertex extends GObject {
// 表示顶点的类, 包含 Vector 和 Color
// 表示了一个坐标和一个颜色
constructor(position, color) {
super()
this.position = position
this.color = color
}
}
drawMesh方法
以上只是关于mesh的基础知识, 这个小demo里我们期望Canvas实例上有一个方法drawMesh, 可以绘制各式各样不同的mesh. 因此最关键的, 我们来看看drawMesh的具体实现.
canvas.drawMesh(Mesh.cube())
class Canvas extends GObject {
constructor(canvas) {
}
drawline(v1, v2, color) {
}
drawMesh(mesh) {
const { indices, vertices } = mesh
// 偏移的魔数
const position = Vector.new(150, 100, 0)
const color = Color.blue()
indices.forEach(ind => {
const [v1, v2, v3] = ind.map(i => {
// 强行缩放的魔数
return vertices[i].position.multi_num(30).add(position)
})
this.drawline(v1, v2, color)
this.drawline(v2, v3, color)
this.drawline(v1, v3, color)
})
}
}
demo1.1
在这个demo里, 我们绘制几何体的"正视图", 因此我们直接忽略每个顶点的z值, 直接将其画在canvas平面内, 效果就好像踩扁废弃的利乐装盒子一样, 直接将几何体"压扁". 同时为了方便观察, 我们强行加上了位移和放大的魔数. 至此, 你得到这样的效果图.
(⊙o⊙)…额, 好像有点吃藕, 不是预想中的样子呢. 为什么呢? 观察发现, 最重要的是正视图没有透视感觉, 前面和后面完全叠在一起, 侧面也完全看不到了....
那我们来加上透视效果吧!!!
绘制旋转的透视图
demo1.2 分解步骤
虽说上面这个demo能看到一个立方体的正视图, 但是里面竟然有两个魔数: 放大30倍, 偏移(150, 100). 咱们先把这两个丑陋的魔数去除掉, 看看会怎样.
这一小节里用到了很多的矩阵方法, 可以简单理解矩阵是用来做变换的(包括旋转/投影/位移/甚至形变), 并且多个矩阵变换可以通过矩阵乘法得到一个新的矩阵同时包含这多种变换, 这第二个特性就使得矩阵用起来非常方便, 它可以将复杂的变换"打包"到一起.
关于矩阵运算这里展开讲篇幅会有点多, 笔者先不过多展开, 如果有需要后续会补充更多细节.
在这里我们可以打开demo1.2, 这是一个非常重要的demo, 因为矩阵的运算比较抽象, 因此这个demo里面用分解步骤先注释掉了部分代码(下面代码块的24到27行), 之后我们再慢慢解开, 来看看每一步带来的效果.
class Canvas extends GObject {
constructor(canvas) {
//...
}
drawMesh(mesh, cameraIndex) {
const { indices, vertices } = mesh
const { w, h } = this
let { position, target, up } = Camera.new(cameraIndex || 0)
const rotation = Matrix.rotation(mesh.rotation)
const translation = Matrix.translation(mesh.position)
const view = Matrix.lookAtLH(position, target, up)
const view2 = Matrix.lookAtLH(position, target, Vector.new(1, 1, 0))
const projection = Matrix.perspectiveFovLH(8, w / h, 0.1, 1)
const world = rotation.multiply(translation)
const worldAndView = world.multiply(view)
const worldAndView2 = world.multiply(view2)
const transform = worldAndView.multiply(projection)
let t = undefined
let needProject = false
// needProject = true
// t = world
// t = worldAndView2
// t = transform
console.log('transform', t)
const color = Color.blue()
indices.forEach(ind => {
const [v1, v2, v3] = ind.map(i => {
if (needProject) {
return this.project(vertices[i], t).position
} else {
return vertices[i].position
}
})
this.drawline(v1, v2, color)
this.drawline(v2, v3, color)
this.drawline(v1, v3, color)
})
}
}
现在运行demo1.2你应该可以看到这个效果:
红色的箭头所指的就是我们绘制出来的mesh, 为什么这么小呢? 因为立方体的顶点位置都是-1到1, 立方体的边长为2. 而canvas的尺寸为300*200, 因此立方体自然是小的看不见了.
尺寸自适应
为了解决这个问题, 我们解开一行注释: needProject = true
class Canvas extends GObject {
constructor(canvas) {
//...
}
project(coordVertex, transformMatrix = Matrix.identity()) {
}
drawMesh(mesh, cameraIndex) {
// 这里省略....
let t = undefined
let needProject = false
needProject = true
// t = world
// t = worldAndView2
// t = transform
// 这里也省略....
}
}
这样子线框的渲染之前就会先修正顶点的位置, 具体project方法如下, 从代码可以看出, 这里会将原来宽高范围从-1到1, 变为 0到w 和 0到h. 这样一来几何体就可以充满整个视图啦!
class Canvas extends GObject {
project(coordVertex, transformMatrix = Matrix.identity()) {
const { w, h } = this
const [w2, h2] = [w / 2, h / 2]
const point = transformMatrix.transform(coordVertex.position)
const x = point.x * w2 + w2
const y = - point.y * h2 + h2
const z = point.z
const v = Vector.new(x, y, z)
return Vertex.new(v, this.color)
}
drawMesh(mesh, cameraIndex) {
// 省略
let t = undefined
let needProject = false
needProject = true
// t = world
// t = worldAndView2
// t = transform
indices.forEach(ind => {
const [v1, v2, v3] = ind.map(i => {
if (needProject) {
return this.project(vertices[i], t).position
} else {
return vertices[i].position
}
})
// 省略
})
}
}
因此你可以得到以下效果图
线框旋转
接下来我们让这个图动起来, 我们定时变更mesh的rotation属性, 当然demo1.2里面都写好啦!
const main = () => {
const c = document.querySelector('#canvas')
const canvas = Canvas.new(c)
console.log(canvas)
canvas.drawline(Vector.new(50, 50), Vector.new(100, 100), Color.green())
const mesh = Mesh.cube()
canvas.drawMesh(mesh)
setInterval(() => {
canvas.clear()
mesh.rotate(new Vector(0.05, 0.1, 0))
console.log('r', mesh.rotation)
canvas.drawMesh(mesh, 3)
}, 200)
}
然后我们再解开一行代码注释: t = world
class Canvas extends GObject {
// 省略
drawMesh(mesh, cameraIndex) {
// 省略
let t = undefined
let needProject = false
needProject = true
t = world
// t = worldAndView2
// t = transform
// 省略
}
}
这样你就可以看到线框图旋转起来的效果
嗯, 还是有点丑. 大致是因为:
- 没有近大远小的透视效果
- 镜头太近了, 完全贴着几何体
既然这样, 我们就要开始关心镜头啦!
Camera类
如果是正视图的话, 几乎不需要有"镜头"这个概念, 因为镜头的位置和方向都确定了, 方向就是从正前方看过去, 位置距离呢, 由于正视图没有"近大远小"的透视效果, 距离也变得无关紧要.
但是这与我们人眼观察和熟知的三维世界有很大区别. 因此我们需要引入camera类来描述, 才有可能得到透视图.
Camera类包括三个变量, position target up, 类型都是Vector.
class Camera extends GObject {
constructor(index) {
super()
this.init(index)
}
init(index) {
const dict = {
0: () => {
this.position = Vector.new(0, 0, -10)
this.target = Vector.new(0, 0, 0)
this.up = Vector.new(0, 1, 0)
},
// 忽略
}
dict[index || 0]()
}
}
这三个变量, position指相机的位置, target指相机看向的目标, position和target两者的连线代表相机自身的z轴方向, up指相机的上方向.
这里相机的描述一个有几个自由度呢?
笔者数了一下, 应该是6个.
相机的位置(相机参考系的原点)由三个自由度决定.
相机直角坐标系的方向由三个自由度决定, 简单理解当相机的位置被固定之后, 相机可以在那里左右摇摆上下俯仰, 因此target可以确定这两个自由度, target定了之后相机还可以绕着自己的z轴旋转, up这个变量就把这个自由度限制的死死的, 所以相机就被唯一确定了下来.
可以看到这里用9个数值确定了6个自由度, 所以这不是最简洁的描述, 9个数值之间不是完全独立(正交)的, 但是由于非常的语义化, 便于调试, 我们继续沿用这个描述.
这里稍微有点抽象, 因此笔者贴多几个关于这些参数描述的链接出来供大家参考, 还不明白的话, 与我交流, 帮助我一起完善.
应用镜头矩阵
然后我们再解开一行代码注释: t = worldAndView2
class Canvas extends GObject {
// 省略
drawMesh(mesh, cameraIndex) {
// 省略
const view2 = Matrix.lookAtLH(position, target, Vector.new(1, 1, 0))
const worldAndView2 = world.multiply(view2)
// 省略
let t = undefined
let needProject = false
needProject = true
t = world
t = worldAndView2
// t = transform
// 省略
}
}
这时候你就可以得到从这个角度开始旋转的一个线框图啦. 相当于镜头"歪着头"照出来的画面, 这就是up这个参数的效果. 你可以在这里多调节下view2的三个相机参数, 来体会position和target的作用.
透视图
如果你真的去调节了position和target就会发现奇怪的事情, 无论position近或者远, 图像都不会缩小放大, 而是一直保持当前的大小.
这是因为视空间的概念, 我们现在绘制的是"正视图", 正视图的视空间是一个长方体, 因此近处和远处同大小的物品会完全重叠在一起, 没有"近大远小"的效果, 看起来空间被"压缩"在了一起. 而正常人眼的视空间不是长方体, 而是一个"锥体", 如下图所示.
为了满足这个需求, 我们解开一行代码的注释: t = transform
class Canvas extends GObject {
// 省略
drawMesh(mesh, cameraIndex) {
// 省略
const view2 = Matrix.lookAtLH(position, target, Vector.new(1, 1, 0))
const worldAndView2 = world.multiply(view2)
// 省略
let t = undefined
let needProject = false
needProject = true
t = world
t = worldAndView2
t = transform
// 省略
}
}
便可以得到以下效果:
简单来讲, 有以下几个步骤计算:
- 物品自身矩阵(处理物品自身偏移和旋转)
- 相机矩阵(用来将世界坐标系变换到相机坐标系)
- 透视调节矩阵(调整近大远小/宽高比例, 让成像接近人眼视觉)
- 画布归一(让成像充满canvas画布).
通过以上几个步骤的变换可以将mesh原先基于物体自身参考系的描述, 转换为基于相机视角参考系的描述, 也就是说变换完之后画出来的mesh就是人眼在相机位置和方向所看到的物品啦!
如果你随着我们的教程一步一步解开demo1.2的注释, 此时你可以得到一个旋转的立方体线框, 也就是直接运行demo1.3的效果.
小结
在本文中, 我们从零开始编写每一行代码, 直到可以渲染旋转几何体的透视图.
在这个过程中, 我们接触到了canvas的2Dcontext的绘制线条的API, 并基于此封装了Canvas类其中最重要的方法drawMesh, 我们一开始实现了简单的版本(正视图), 来渲染Mesh, 为了描述Mesh(几何体)我们引入了Vector/Color/Vertice/Mesh等类.
后面为了绘制透视图我们升级了drawMesh方法, 并且引入了Camera类和大量的Matrix运算, 最终我们得到了旋转几何体的透视图！！！
本文是否对你有帮助呢? 无论你是早就知道, 还是一看就透, 亦或是云里雾里还是先马后看, 欢迎与我讨论交流, 欢迎点赞收藏关注, 感谢各位父老乡亲.
下一期我们主要讲渲染片元, 并且处理颜色和位置的插值, 还有遮挡关系的处理, 还会针对本节课的互动和评论补充相应的细节. 但愿不鸽, 下次一定.