苏宁 OLAP 引擎发展之路

639 阅读2分钟

在 QCon 北京 2019 大会上,赵云讲师做了《苏宁 OLAP 引擎发展之路》主题演讲,主要内容如下。

演讲简介:

对于海量大数据进行即时的多维分析,没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景,我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询,在建设过程中,也遇到了各种各样的挑战。

如何将复杂业务场景抽象化,提供平台级能力支持,如何通过统一的 SQL 引擎来实现各种类型数据的统一查询;对于通用服务计算框架无法解决的问题,如何通过定制化实现来解决;对于通用查询引擎无法满足响应时间的场景,如何通过预计算方式来实现;如何通过 Cost 模型来对服务进行分级和隔离等等。本次深度揭秘苏宁建设 OLAP 引擎过程中如何运用各项技术解决问题的方案,以及过程中遇到的坑和优化方法。

演讲大纲

1、苏宁 OLAP 引擎概况;

2、OLAP 引擎架构;

3、特定业务解决方案;

4、技术挑战;

5、未来规划。

讲师介绍:

赵云

苏宁科技集团 OLAP 平台负责人

现担任苏宁 OLAP 平台负责人,拥有 10 年以上相关领域经验,对多项大数据技术有着广泛使用经验和深刻的理解。目前负责苏宁 OLAP 引擎,Druid,ES 等大数据组件,主导并推进苏宁统一的基于 SQL 的 OLAP 引擎,Druid 服务化平台,ES 服务化平台的建设,极大的提升各项指标数据的开发时间,减少各项人力和硬件成本。

关注《大数据技术进阶》微信公众号,后台回复"qcon2019北京",下载QCon北京2019大会 全部演讲 PPT