wait4friend

在目前我接触过的轻量级BI工具中，我最喜欢的是MS Power BI。 如果只是个人使用，我觉得这简直是一个完美的工具了。但是，凡事就怕但是，在企业级应用中，当前版本的Power BI有几个不太方便的地方。对我而言，最不能忍的一点就是数据需要完全导入到PBI文件之后才能使用（官…

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在pyspark中处理一个数据行列转换，就把这个方法记录下来。 首先明确一下啥叫…

最近在研究的一个遗留项目的过程中，为了确定进行某个业务操作究竟修改了哪些数据库表，我们决定查看binlog中记录的sql语句。一直知道MySQL的binlog解析工具很多，但是原来没有用过，今天把这个过程记录一下。 这一次我们除了使用官方提供的解析工具之外，还使用了一个第三方的…

方便管理多个用户共享一个数据库,但是又可以互相独立. 比如要设计一个复杂系统，由众多模块构成，有时候模块间又需要有独立性。各模块存放单独的数据库显然是不合适的。 这时候使用schema来分类各模块间的对象，再对用户进行适当的权限控制，这样逻辑也非常清晰。 大多数数据库都有sch…

在处理GPS数据时，记录中往往会有很多时间戳和距离都接近的数据，一方面浪费了较多的存储空间，另一方面造成所要表达的图形不光滑或不符合标准。因此要通过某种规则，在保证矢量曲线形状不变的情况下， 最大限度地减少数据点个数，这个过程称为抽稀。 步长压缩算法：沿连续曲线每隔一定的步长抽…

处理不确定深度的层级结构，比如组织机构，一个常用的设计是在一张表里面保存 ID 和 Parent_ID ，并且通过自联结的办法构造一颗树。这种方式对写数据的过程很友好，但是查询过程就变得相对复杂。在不引入MPTT模型的前提下，必须通过递归算法来查询某个节点和下级子节点。 Ora…

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用拖放组件实现。今天正好需要在PostgreSQL中处理一个数据行列转换，就把这个方法记录下来。 首先明确一…

Mac下没有XShell这样好用的工具，所以需要经常性操作Linux服务器的我需要有一款趁手的工具。日常操作的需求基本是这几个 谷歌了很多方案，主流的是采用expect进行响应式操作。这个方法挺好的，非常灵活并且可以在跳板机环境下多次响应后直接登录。不过我在使用的过程中发现不能…

数据仓库在DWS层对数据进行汇总的时候，经常会出现数据一对多的情况。这个时候会使用父子表的形式存储数据。但是在构造Data API的过程中，往往会使用JSON格式，把多条子信息整合到父信息上，最终形成一条JSON Document。 传统的做法是，使用Python，Java等程…