说明
The Parallax View
The Parallax View是个国外开发者开发的好玩的软件,它利用iPhoneX实现了裸眼3D的效果.
其实它是利用了iPhone X的ARKit面部追踪接口和TrueDepth传感器。 通过追踪用户的头部运动,确定眼睛在三维空间中的确切位置。 然后生成实时响应用户位置的影像,从而为用户带来一种3D影像的错觉。原理特点
通过使用ARKit和iPhone X进行3D头部追踪来获得深度幻象。
为获得最佳效果,应该只打开一只眼睛(该应用允许选择要追踪的眼睛,或者可以尝试自动选择眼睛)
通过跟踪用户头部方向和位置,可以找到3D中的眼睛位置。
应用可以在该显示器上呈现从该位置看到的正确视图。
为了呈现该视图,使用离轴投影(非对称相机平截头体)。
这给人一种错觉,即物体出现在屏幕的前面和后面。
模仿
受此启发,我尝试在非iPhoneX设备上用人脸识别框架来实现低精度的裸眼3D效果. 原理是:
- 利用人脸识别,检测人脸位置;
- 将人脸的二维位置转换到3维空间中(z轴固定,xy按比例转换);
- 将转换后的3D坐标赋值给摄像机;
原本打算,用识别出人脸的大小,做为依据来判断摄像机在z轴上的位置,但测试中发现,人脸识别出的大小变化很大,无规律可转换.
建立模型
自己用SceneKit的编辑器搭建了一个场景,里面有多根高度不同的柱子.人脸识别
原来以为苹果的新框架Vision会更好,结果在我的iPhone SE上非常卡,而且Vision框架在识别人脸时对方向有要求,需要指定方向.所有最后还是使用了AVFoundation中的metadataObjectTypes来识别.
if session.canAddOutput(metaDataOutput) {
session.addOutput(metaDataOutput)
}
//7.AVFoundation框架识别类型
metaDataOutput.metadataObjectTypes = [.face]
在代理方法中处理识别到的人脸:
//AV框架人脸识别
func metadataOutput(_ output: AVCaptureMetadataOutput, didOutput metadataObjects: [AVMetadataObject], from connection: AVCaptureConnection) {
for obj in metadataObjects {
if obj.type == .face {
print("face---\(obj.bounds)")
// 坐标转换
let oldRect = obj.bounds;
let w = oldRect.size.height * self.previewView.bounds.size.width;
let h = oldRect.size.width * self.previewView.bounds.size.height;
let x = oldRect.origin.y * self.previewView.bounds.size.width;
let y = oldRect.origin.x * self.previewView.bounds.size.height;
// 添加矩形
rectLayer.frame = CGRect(x: x, y: y, width: w, height: h)
rectLayer.isHidden = false
//凑出合理的数据
let cameraX = (oldRect.origin.y - 0.3) * 2
let cameraY = (0.4 - oldRect.origin.x) * 2
// 移动摄像机
self.cameraNode.position = SCNVector3(cameraX, cameraY, 20)
}else {
rectLayer.isHidden = true
}
}
}
效果初步有了:
但是我们还应该看到,我们的3D效果是通过直接移动摄像机的位置来实现,摄像机的视野范围并没有改变,所以看上去像是透过窗户看后面的景物,而不是像The Parallax View那样,3D物体像是与手机屏幕绑在一起.
最主要原因是:The Parallax View使用了离轴投影(非对称相机平截头体)处理摄像机看到的物体范围,如下图,不论如何移动,FOV(Field Of View)都始终对齐了底座的四个角:
投影变换
在SceneKit中,是可以给camera设置自定义的投影变换矩阵的
self.cameraNode.camera?.projectionTransform
苹果也给出了说明,一旦设置该项,则对摄像机设置的 zFar
,zNear
, 和fieldOfView
都会失效,原因是这些值无法从矩阵中得到(数学上不可逆).
另外需要注意的是:ARKit中的ARSCNView类会重写这个投影变换,所以不要在AR应用中修改.
如果有深厚的3D数学功底,只要重写这个投影变换矩阵,就可以得到离轴投影效果,可惜我现在不会,相关配置还需要研究,以后更新.
代码
代码地址NakedEye3D