stonezhu

在 Linux 上安装软件应该去官网下载比较好，比如去 JDK 的官网下载 JDK ，会给出这样的下载列表。 对于 Linux 系统来说有三个安装包可以下载，格式分别为 r...

按照这个命令可以输入新密码。 执行这个指令，一个用户就会被创建了。接下来可以自己调用 passwd stone 来设置密码，然后再登陆。切换用户可以使用 su stone ...

Java 中堆内存是 JVM 管理内存中最大的一块内存，同时又是 GC 管理的重要区域。 1，年轻代。年轻代内部又分成了两个区，一个是 Eden 区，一个是 Survivo...

前面已经分析到了 DAGScheduler 对 stage 划分，并对 Task 的最佳位置进行计算之后，通过调用 taskScheduler 的 submitTasks ...

前面一篇文章已经讲了 DAGScheduler 中的 stage 划分算法。 实际上就是每当执行到 RDD 的 action 算子时会去调用 DAGScheduler 的 ...

前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动，然后执行 main 方法，初始化 SparkContext 对象。 一个是 TaskSchedule...

前一篇文章介绍了 Executor 进程的启动，最后启动的是 CoarseGrainedExecutorBackend，执行启动命令后会执行它的 main 方法，启动 Co...

上一篇已经将 Application 注册到了 master 上了，在 master 收到注册消息后会进行一系列操作，最后调用 schedule 方法。 这个 schedu...

在前面一篇文章中分析到了 SparkContext 中的 TaskScheduler 创建及启动。 在 StandaloneSchedulerBackend start 代...

前面已经分析到了 driver 进程成功在某台 worker 上启动了，下面就开始执行我们写的那些代码了。以一个 wordcount 程序为例，代码如下： 首先会去初始化我...

上一篇文章已经已经执行到 Client 向 masterEndpoint 发送了 RequestSubmitDriver 信息，下面就看看 master 怎么注册 driv...

研究 Spark 内部是怎么运行的，怎么将 Spark 的任务从开始运行到结束的，先从 spark-submit 这个 shell 脚本提交用户程序开始。下面的分析都是基于...

Spark 是一个 通用的分布式计算系统，既然是分布式的，必然存在很多节点之间的通信，那么 Spark 不同组件之间就会通过 RPC（Remote Procedure Ca...

翻译 Spark 共享变量部分的官方文档（Spark 2.4.3）。 通常，当传递给 Spark 操作 (如 map 或 reduce ) 的函数在远程集群节点上执行时，在...

如果要设置自动清除这些无用导入，Windows 系统在：File -> Settings -> Editer -> General -> Auto Import 设置，Ma...

cogroup 这个算子使用的频率很低，join 算子使用频率较高，两者都是根据两个 RDD 的 key 进行关联。具体看下面的代码，先看下面的 2 个 RDD： 上面的 ...

SparkSQL支持Hive的UDF（Userdefinedfunctions）和UDAF（Userdefinedaggregationfunctions）UDF传入参数只...

用 ssh 远程连接 Mac 电脑时候出现 ssh: connect to host localhost port 22: Connection refused 拒绝连接的...

SSH 为 Secure Shell 的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。其目的是...

这个报错在位置在开窗函数执行语句处。 从 Spark 2.0 开始，Spark SQL 才本地实现了开窗函数（SPARK-8641），在 Spark 2.0 之前要使用开窗...