阅读 8

CEAMS集成工具:可视化、自动化解决EXCEL文件表头格式不一致问题

Hello,大家好,在这辞旧迎新的2020年初,小编又来更新啦。这次将给大家分享一款对于企业来说超级实用的数据集成工具。在实际工作中,经常需要将数据以图表的形式来展示数据的价值,并且进一步大数据分析;然而数据处理过程中,数据整理经常就花费了80%的时间,尤其经常会碰到excel文件数据表头格式不一致的问题,“某某部门又没有按格式反馈数据”、“每个分公司的报表,表头五花八门,整理起来太头疼”……是的,excel数据汇总,每每碰到数据表头格式不一致时,只想大声喊到:我太“南”了!!! 数据格式统一实在是太重要了。

今天,小编给大家分享一款数据集成工具:CEAMS集成工具,生成通用的excel表头,快速实现数据格式标准化,节省日常数据处理人工消耗,数据变现最大化。假设,我们手头上有几份来自不同省份的食品监管数据excel文件,其中每份数据表头格式是不一致的,需要将它们转换成统一规范的格式。接下来,我们一起看看如何通过CEAMS集成工具实现数据格式标准化。以湖北省食品、甘肃省、江苏省抽检不合格数据为例。

现有excel文件数据表头:

①湖北省食品抽检不合格数据部分截图

②甘肃省食品抽检不合格数据部分截图

③江苏省食品抽检不合格数据部分截图

问题描述:仔细看看这些表格会发现,它们的表头都不大一致,其中一些关键信息的格式都差了很多,比如“不合格项目||检验结果||标准值”这列,湖北省、江苏省用的是

而甘肃省用的是

如果直接用原格式开展大数据分析工作,出来的结果可能会出现偏差,不够精细化。

经过CEAMS集成工具处理之后,标准化格式的数据表头:

使用格式标准化的数据,确保数据的一致性,有利于开展大数据与可视化数据集成和强大的预测分析,有助于企业实时决策。 一、CEAMS集成工具的整体工作流程

二、CEAMS集成工具简易的操作方法

1、从左边的工具箱中选择对应的组件,按照上图1所示顺序依次放置,并用连线将其连接好。

2、双击下图所示组件,创建其属性设置:对应的服务以及接口;点击保存。

3、双击下图所示组件,创建其属性设置:选择对应的服务以及接口;点击保存。

4、双击下图所示组件,在Transform Message处,将鼠标放在输入中的某个字段,然后鼠标长按,拖动到输出中匹配的字段,从而创建输入和输出字段之间的实际映射。匹配所有相同和相似的名称,如抽样编号匹配抽样编号、产品名称匹配名称。

5、点击右上角的“测试”按钮,根据提示,选择需要处理的excel源文件,点击保存,CEAMS集成工具在线完成测试。

6、下方的Console中提示“测试成功!”,即表示数据成功转换标准化格式,并且标准化格式数据也同步导入到数据库中了。

拿着这些转换好的标准数据,进一步开展大数据整合、建模、分析、管理工作,就方便多了,无需再为了数据整理劳心劳力,实现运营的数据报表自动化,实现大数据分析可视化。

三、关于CEAMS集成工具的三大重要组件

操作步骤说完了,现在我们来看看CEAMS集成工具中三个非常重要的组件。

1、组件1

由CEAMS平台负责,针对用户具体需求进行定制化开发。该组件的主要功能为将输入的源数据解析成JSON格式输出。以上述食品监管数据为例,具体输出的JSON格式内容如下(内容较多,仅展示一行数据转换的JSON内容):

测试 湖北省数据 组件

输出:

{

"output":[

{

"sid":"GC19420000003335391",

"pname":"/",

"paddress":"/",

"cname":"武汉中商超市连锁有限公司黄石延安路店",

"caddress":"黄石市延安路122号",

"name":"韭菜",

"standard":"散装称重",

"trademark":"/",

"pdate":"/",

"reason":"腐霉利",

"test_results":"腐霉利",

"rlimit":"腐霉利",

"result":"不合格",

"type":"食用农产品",

"notification_no":"2019年第41期",

"time":"2019-10-31",

"province":"湖北",

"level":"总局国抽",

"notifying_unit":"湖北省食品质量安全监督检验研究院",

"remark":"抽样日期:2019-07-31"

}

2、组件2

由用户自行操作,匹配数据字段;该组件的主要功能为将组件1解析出来的JSON格式内容转换成具有统一标准化格式的数据输出。以上述食品监管数据为例,具体输出的标准化数据内容如下(内容较多,仅展示一行数据转换的标准化格式内容):

开始Transform数据

输出:

[

{

"sid":"GC19420000003335391",

"pname":"/",

"paddress":"/",

"cname":"武汉中商超市连锁有限公司黄石延安路店",

"caddress":"黄石市延安路122号",

"name":"韭菜",

"standard":"散装称重",

"trademark":"/",

"pdate":"/",

"reason":"腐霉利",

"test_results":"腐霉利",

"result":"不合格",

"rlimit":"腐霉利",

"type":"食用农产品",

"notifying_no":"2019年第41期",

"time":"2019-10-31",

"province":"湖北",

"level":"总局国抽",

"notifying_unit":"湖北省食品质量安全监督检验研究院",

"remark":"抽样日期:2019-07-31"

}

3、组件3

与组件1相同,由CEAMS平台负责开发;主要功能提供数据标准化统一格式,同步将组件2输出的数据导入到数据库中。 四、总结

CEAMS集成工具,基于微服务的理念,将应用模块化封装,通过统一的API调用实现模块间交互;为企业提供云端一体化的集成开发环境,无需安装配置单独的开发环境工具,登陆浏览器即可随时随地在线处理数据集成工作;基于node.js开发,输入数据源,将其自动转换成标准简洁的JSON数据格式,对数据结构进行编排重组聚合集成;提供可视化、自动化的数据集成流程,帮助企业降本增效,最大化实现数据价值。

(完)

<未经同意,本文禁止转载或摘编>

关注下面的标签,发现更多相似文章
评论