wait4friend

大数据架构师

数据 BI

14关注

19关注者

462掘力值

赞

0

更多

专栏

wait4friend
13天前
PostgreSQL_图的递归查询在树形递归查询这篇文章，我记录了使用CTE语法查询树形结构的办法。在一个树形结构中，每一个节点最多有一个上级，可以有任意个数的下级。在实际场景中，我们还会遇到对图(graph）的查询，图和树的最大区别是，图的节点可以有任意个数的上级和下级。如下图所示因为图可能存在loop结构（上图红色箭头），...
- 1
- 收藏
阅读全文
wait4friend
2月前
PostgreSQL_11_把SQL查询结果转换为JSON类型数据仓库在DWS层对数据进行汇总的时候，经常会出现数据一对多的情况。这个时候会使用父子表的形式存储数据。但是在构造Data API的过程中，往往会使用JSON格式，把多条子信息整合到父信息上，最终形成一条JSON Document。传统的做法是，使用Python，Java等程序语言对父子数据进行...
- 收藏
阅读全文
wait4friend
7月前
PostgreSQL_树形结构的递归查询处理不确定深度的层级结构，比如组织机构，一个常用的设计是在一张表里面保存 ID 和 Parent_ID ，并且通过自联结的办法构造一颗树。这种方式对写数据的过程很友好，但是查询过程就变得相对复杂。在不引入MPTT模型的前提下，必须通过递归算法来查询某个节点和下级子节点。 Oracle提供的conn...
- 1
- 收藏
阅读全文
wait4friend
7月前
PostgreSQL_行列转换pivot_unpivot 做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在PostgreSQL中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫行列转换，因为...
- 1
- 收藏
阅读全文
wait4friend
7月前
PostgreSQL_通过schema控制用户权限比如要设计一个复杂系统，由众多模块构成，有时候模块间又需要有独立性。各模块存放单独的数据库显然是不合适的。这时候使用schema来分类各模块间的对象，再对用户进行适当的权限控制，这样逻辑也非常清晰。大多数数据库都有schema或者同等意义的概念，但是含义和具体操作不同。 PostgreSQL ...
- 收藏
阅读全文
wait4friend
8月前
PostgreSQL处理JSON入门作为一种简单易用的非结构化数据，JSON格式的应用场景非常广泛。在当前的大数据环境下，处理非结构化数据的需求越来越频繁，我们是不是必须用MongoDB这一类NoSQL的解决方案？强大的PostgreSQL数据库，在RDBMS的基础上提供了对JSON的完善支持，不需要MongoDB也可以玩转JSON...
- 5
- 收藏
阅读全文
wait4friend
11月前
PostgreSQL_FDW_安装和简单使用在使用异构数据库构建数据平台的过程中，异构数据库之间的访问一直是比较复杂的问题。我们使用PostgeSQL的过程中，遇到需要访问MySQL实时数据的场景。可供我们选择的方案包括 FDW(Foreign Data Wrapper)是我们选用的开源方案，这个方案明显的优点是使用统一的接口方式实现多种数...
- 2
- 收藏
阅读全文
wait4friend
11月前
PostgreSQL_11.1_安装和基础配置 PostgreSQL 11.1 内核参数的配置，这里有一篇文章写的很详细，建议阅读。因为安装过程涉及到新建用户等操作，所以这里使用root用户(或sudo)来进行准备工作。这里的启停命令都是用postgres用户执行的。 PS：在生产系统上，我们建议使用系统服务的方式启动，详见日常运维部分。 ...
- 3
- 收藏
阅读全文
wait4friend
12月前
XWiki_安装和基础配置企业级知识库在平时的工作中，把常规工作进行文档整理非常重要，无论是平时工作处理或是工作交接，实时的维护文档资料可以提高工作效率。如果采用传统的TXT文档或者Word文档来记录的话修改查询都不太方便，采用在线Wiki可以更好的让大家实时地查看或者修改文档资料。在开源Wiki系统中，XWiki是做的最好的产品之...
- 1
- 收藏
阅读全文
wait4friend
1年前
Greenplum_源代码编译安装和RPM包安装原来使用GP的场景是直接使用阿里云提供的HybridDB产品，所以没有亲自动手安装过。现在有一个在本地搭建测试环境的需求，所以就照猫画虎的做一遍，把过程记录下来。 Greenplum 5.8.0 RPM包安装（基于PostgreSQL 8.3.23） Greenplum 6.0.0 源代码安装（基...
- 收藏
阅读全文
wait4friend
1年前
MySQL_通过binlog查看原始SQL语句最近在研究的一个遗留项目的过程中，为了确定进行某个业务操作究竟修改了哪些数据库表，我们决定查看binlog中记录的sql语句。一直知道MySQL的binlog解析工具很多，但是原来没有用过，今天把这个过程记录一下。这一次我们除了使用官方提供的解析工具之外，还使用了一个第三方的开源工具。首先要确...
- 收藏
阅读全文
wait4friend
1年前
国产轻量级BI平台CBoard的安装和初步使用介绍在目前我接触过的轻量级BI工具中，我最喜欢的是MS Power BI。如果只是个人使用，我觉得这简直是一个完美的工具了。但是，凡事就怕但是，在企业级应用中，当前版本的Power BI有几个不太方便的地方。对我而言，最不能忍的一点就是数据需要完全导入到PBI文件之后才能使用（官方提供了Direct...
- 22
- 收藏
阅读全文
wait4friend
1年前
PostgreSQL二进制安装流程因为安装过程涉及到新建用户等操作，所以这里使用root用户(或sudo)来进行准备工作。二进制安装包的下载地址 https://www.enterprisedb.com/download-postgresql-binaries
- 收藏
阅读全文
wait4friend
1年前
使用PowerBI_Embed实现Web访问报表 part 3 在自定义应用内访问PBIE，调用JavaScript API的过程中，需要三个参数，分别是最重要的步骤是通过账户安全性认证，从 Azure AD 获取访问令牌和嵌入令牌，然后才能够调用API嵌入报表。目前微软提供了两种方式来获取Token，分别是 .Net SDK 和 REST接口。本案例中使...
- 收藏
阅读全文
wait4friend
1年前
使用PowerBI_Embed实现Web访问报表 part 2 这是使用微软Power BI Embedded功能，在自定义WEB应用中嵌入报表的一篇入门指南。文章共分为三篇，这是第二篇。在PBI Desktop中，使用创建工作区的同名Pro账号登录，如下图在开发报表过程中，一定要使用前面配置的ODBC数据源来连接数据库，这一点非常重要！因为报表会把数据源...
- 收藏
阅读全文
wait4friend
1年前
使用PowerBI_Embed实现Web访问报表 part 1 这是使用微软Power BI Embedded功能，在自定义WEB应用中嵌入报表的一篇入门指南。文章共分为三篇，这是第一篇。本文讨论最后一种嵌入方案，用一个简单的案例对整个开发流程进行简单演示。 Power BI 提供了Embedded功能（下文简称PBIE），使用特定 API，将仪表板和报表嵌...
- 收藏
阅读全文
wait4friend
1年前
Spark实现行列转换pivot和unpivot 做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。首先明确一下啥叫行列转换，因为这个叫...
- 11
- 收藏
阅读全文
wait4friend
1年前
Hive_使用ACID事务特性实现渐变维度SCD2操作基于维度模型理论的数据仓库中，一个特别重要的部分是渐变维度的处理，其中用的最多的方法是对维度表进行SCD2类型拉链表操作。具体实现使用upsert模式，即更新旧数据的时间戳，并且插入新数据。但是在使用Hive作为数据仓库的场景下，对SCD2的操作就比较麻烦。因为Hive不支持更新操作，所以通常做...
- 5
- 收藏
阅读全文
wait4friend
1年前
工作流调度工具Airflow1.8搭建及使用最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Airflow是一个工作流...
- 30
- 收藏
阅读全文
wait4friend
1年前
iTerm2下配置ssh自动登录和使用lrzsz上传下载 Mac下没有XShell这样好用的工具，所以需要经常性操作Linux服务器的我需要有一款趁手的工具。日常操作的需求基本是这几个谷歌了很多方案，主流的是采用expect进行响应式操作。这个方法挺好的，非常灵活并且可以在跳板机环境下多次响应后直接登录。不过我在使用的过程中发现不能配合SZ和RZ使用，...
- 5
- 收藏
阅读全文

个人成就

获得点赞110

文章被阅读35,273

掘力值462

加入于

2018-05-08