LiveVideoStackCon 2017 Day 2 专场回顾 —— App 新科技专场

1,378 阅读4分钟

LiveVideoStackCon 2017 Day 2 专场回顾 —— App 新科技专场

多媒体与浏览器专场可戳这里:LiveVideoStackCon 2017 Day 1 专场回顾 —— 多媒体与浏览器专场
这篇内容主要针对 App 新科技专场,进行主要内容回顾。
其中上午场的分享有:Hulu 傅德良带来的《流媒体服务质量和用户体验优化》,阿里巴巴江文斐带来的《优酷窄带高清实战》以及北京密境和风(花椒直播)唐赓带来的《直播场景下新技术的应用》;下午场的分享有:网宿科技孙磊带来的《VR 视频窄带高清技术探索》,欢聚时代(YY)冯迅带来的《媒体实时传输系统及其优化》以及 PPTV 王斌带来的《全平台硬件解码的渲染优化》。现在,让我们一起来看一看。

第一场:《流媒体服务质量和用户体验优化》 Hulu/傅德良

首先是 Hulu 视频系统简介

介绍了 Hulu 的终端是多平台的,包括 Web 端,移动端,电视端。
介绍了 Hulu 的视频内容是 “点播 + 直播” 的方式,包括:电视、电影、自制剧、体育节目……
介绍了 Hulu 的商业模式:注册用户 + 付费

接着介绍了流媒体服务质量和用户体验

流媒体服务质量(QoS)


流媒体用户体验(QoE)

流媒体服务质量与用户体验

最后介绍了流媒体服务质量与实践

码率自适应算法



数据驱动

线下论证

测试离线平台

线上实测

优化结果

第二场:《优酷窄带高清实战》 阿里巴巴/江文斐

首先介绍了业界关于体验公开的秘密

接着介绍了窄带高清 2.0 与 1.0 的区别

数据对比:


什么是窄带高清:

窄带高清 1.0:


窄带高清 2.0:


人眼厌恶什么:

最后介绍了实战

第三场:《直播场景下新技术的应用》 北京密境和风(花椒直播)/唐赓

首先介绍了直播的组成部分

  • 底层支持
    • 秒开、265、网络自适应……
    • 超大聊天室IM、私信、群组……
    • 直播、连麦、单聊、群聊……
  • 上层展现
    • 标配的美颜、滤镜、瘦脸、大眼、人脸识别贴纸、3D 头盔……

接着介绍了直播还可以发力的地方

Augment Reality

  • Face landmark (第一个将人脸识别应用于直播中,CPU 消耗非常大,但已控制在10%以内,7+)
  • ARKit/ARCore/SenseAR……(CPU 资源消耗 160%)
  • IMU
  • Hand Pose/Body pose

应用场景:AR 互动直播、AR 3D 广告动画、AR 平面广告

Computer Graphics

  • OpenGL/Metal
  • Unity
  • Unreal Engine
  • SceneKit
  • Cocoa2d-x/Crystal Space/Blender Game Engine
  • 自制引擎

Computer Version

  • OpenCV
  • Dlib

Machine Learning

  • 前台功能
  • 后台功能
  • 各种网络结构
  • 深度窥视深度学习

第四场:《VR 视频窄带高清技术探索》 网宿科技/孙磊

Part 1: 背景介绍

首先对 VR 视频进行了简单的介绍,接着对现在存在的难点进行了分析。
主要难点有:

  • 采集、观影设备价格高
  • 清晰度、晕眩、效果差
  • 为获得较好观影效果,所需码率高

Part 2: 技术详解

  • 采集拼接
  • 立方体投影
  • 按需传输


  • H.265

  • P2P
  • 延时优化
  • 传输优化

Part 3: 效果展示

最后展示了各种优化后的效果:
带宽:


延时:

第五场:《媒体实时传输系统及其优化》 欢聚时代(YY)/冯迅

Part 1: 实时可靠传输的重要性

首先介绍了直播过程中,实时可靠传输的重要性。

Part 2: 不实时、不可靠的因素

接着介绍了不实时、不可靠的因素。其中包括:时延、丢包、时延抖动。

Part 3: 直播传输网络架构演变

  • 架构演变前:主播和观众共享一套系统
  • 架构演变后:突出主播和观众差异化,侧重不同技术点

    Part 4: 实时、可靠性优化

  • 在哪?选哪?
  • 传输策略

  • 多路聚合

  • 网络加速

    Part 5: 与 CDN 结合案例


    一点点小福利:

第六场:《全平台硬件解码的渲染优化》 PPTV/王斌

Part 1: 常规方法渲染硬解数据的问题

  • 常规的 OpenGL 渲染(软解)
  • 硬解的 OpenGL 渲染
    • 常规方法渲染的数据流
    • 理想的硬解数据流

Part 2: 硬解纹理转换一般思路

Part 3: D3D11 转 OpenGLES 纹理


Part 4: macOS、iOS 纹理转换及统一




Part 5: Android 硬解渲染及常见难题解决

❤️ 另外还有一篇文章,是关于多媒体与浏览器专场的,你可以戳这里:
LiveVideoStackCon 2017 Day 1 专场回顾 —— 多媒体与浏览器专场