zicesun

非null字段的处理要比null字段的处理高效些！且不需要判断是否为null。 null在MySQL中，不好处理，存储需要额外空间，运算也需要特殊的运算符。如select ...

1. 什么是代理 我们大家都知道微商代理，简单地说就是代替厂家卖商品，厂家“委托”代理为其销售商品。关于微商代理，首先我们从他们那里买东西时通常不知道背后的厂家究竟是谁，也...

HiveSQL对Hive的数据操作包括对内部表、外部表、分区表以及桶表的数据的导入以及导出。 Hive不提供行级数据的插入，更新以及删除操作，因此当创建一个新的表，往表中装...

Kafka是分布式消息发布和订阅的消息系统。而生产者则对应的是消息的生产和发布。也就是说，生产者是消息的来源。生产者将消息发送搭kafka中。 Kafka生产者发送的消息封...

最近在学习 Apache Spark 1.4.1 的源码和写 Apache Spark 源码阅读 系列学习笔记，大多数的子模块啃得还算比较顺利，唯独分区器（Partitio...

最近抽空整理了"数据结构和算法"的相关文章。在整理过程中，对于每种数据结构和算法分别给出"C"、"C++"和"Java"这三种语言的实现；实现语言虽不同，但原理如出一辙。因...

YARN是Hadoop2.0中资源管理系统，它的基本设计思想是将MRV1中的jobtracker拆分成了两个独立的服务：一个全局的资源管理器resourceManager和...

本文讲介绍如何搭建spark集群。 上述所有的文件都安装在/home/zhuyb/opt文件夹中。 服务器是实验室的，选用了一台master和三台slave机器.IP和机器...

Spark的调度机制是Spark的核心基础，分成两个部分，一是集群资源调度，二是应用程序内部的作业调度。这篇文章简单介绍一下基本概念。 应用程序(Application) ...

Spark的集群调度其实蛮简单的，这里总结了一些集群资源调度的基本原理。 spark集群是怎么管理集群的计算资源和内存资源的呢？其实在这背后有一个资源注册的机制。简单来说，...

根据人的名字判断任务的性别是一个很有趣的工作. 预测英文姓名的性别,对first name进行预测,有很多种方法,比如朴素贝叶斯法,SVM,神经网络等.预测的时候能够利用的...