首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
stonezhu
掘友等级
👨💻
我的博客:http://zhuleiblog.com
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
4
文章 4
沸点 0
赞
4
返回
|
搜索文章
stonezhu
👨💻
·
4年前
关注
Linux 指令之安装软件
在 Linux 上安装软件应该去官网下载比较好,比如去 JDK 的官网下载 JDK ,会给出这样的下载列表。 对于 Linux 系统来说有三个安装包可以下载,格式分别为 r...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Linux 指令之用户和密码
按照这个命令可以输入新密码。 执行这个指令,一个用户就会被创建了。接下来可以自己调用 passwd stone 来设置密码,然后再登陆。切换用户可以使用 su stone ...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
JVM 堆内存模型与 GC 策略
Java 中堆内存是 JVM 管理内存中最大的一块内存,同时又是 GC 管理的重要区域。 1,年轻代。年轻代内部又分成了两个区,一个是 Eden 区,一个是 Survivo...
4
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(九): Task 启动
前面已经分析到了 DAGScheduler 对 stage 划分,并对 Task 的最佳位置进行计算之后,通过调用 taskScheduler 的 submitTasks ...
1
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(八):DAGScheduler 源码分析2(task 最佳位置计算)
前面一篇文章已经讲了 DAGScheduler 中的 stage 划分算法。 实际上就是每当执行到 RDD 的 action 算子时会去调用 DAGScheduler 的 ...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(七): DAGScheduler 源码分析1(stage 划分算法)
前面几篇文章已经说清楚了从 spark 任务提交到 driver 启动,然后执行 main 方法,初始化 SparkContext 对象。 一个是 TaskSchedule...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码解析(六): 向 driver 注册 Executor
前一篇文章介绍了 Executor 进程的启动,最后启动的是 CoarseGrainedExecutorBackend,执行启动命令后会执行它的 main 方法,启动 Co...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(五): Executor 启动
上一篇已经将 Application 注册到了 master 上了,在 master 收到注册消息后会进行一系列操作,最后调用 schedule 方法。 这个 schedu...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(四): Application 的注册
在前面一篇文章中分析到了 SparkContext 中的 TaskScheduler 创建及启动。 在 StandaloneSchedulerBackend start 代...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(三): SparkContext 初始化之 TaskScheduler 创建与启动
前面已经分析到了 driver 进程成功在某台 worker 上启动了,下面就开始执行我们写的那些代码了。以一个 wordcount 程序为例,代码如下: 首先会去初始化我...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(二): Driver 注册及启动
上一篇文章已经已经执行到 Client 向 masterEndpoint 发送了 RequestSubmitDriver 信息,下面就看看 master 怎么注册 driv...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 源码分析(一):Spark Submit 任务提交
研究 Spark 内部是怎么运行的,怎么将 Spark 的任务从开始运行到结束的,先从 spark-submit 这个 shell 脚本提交用户程序开始。下面的分析都是基于...
3
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 中的 RPC
Spark 是一个 通用的分布式计算系统,既然是分布式的,必然存在很多节点之间的通信,那么 Spark 不同组件之间就会通过 RPC(Remote Procedure Ca...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 共享变量
翻译 Spark 共享变量部分的官方文档(Spark 2.4.3)。 通常,当传递给 Spark 操作 (如 map 或 reduce ) 的函数在远程集群节点上执行时,在...
1
评论
分享
stonezhu
👨💻
·
4年前
关注
Intellij IDEA 清除无用 import 快捷键以及自动清除设置
如果要设置自动清除这些无用导入,Windows 系统在:File -> Settings -> Editer -> General -> Auto Import 设置,Ma...
1
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark 的 cogroup 和 join 算子
cogroup 这个算子使用的频率很低,join 算子使用频率较高,两者都是根据两个 RDD 的 key 进行关联。具体看下面的代码,先看下面的 2 个 RDD: 上面的 ...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Spark SQL 中 UDF 和 UDAF 的使用
SparkSQL支持Hive的UDF(Userdefinedfunctions)和UDAF(Userdefinedaggregationfunctions)UDF传入参数只...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
Mac 上启动开启 sshd 服务
用 ssh 远程连接 Mac 电脑时候出现 ssh: connect to host localhost port 22: Connection refused 拒绝连接的...
1
评论
分享
stonezhu
👨💻
·
4年前
关注
ssh 远程连接的两种验证方式
SSH 为 Secure Shell 的缩写,由 IETF 的网络小组(Network Working Group)所制定;SSH 为建立在应用层基础上的安全协议。其目的是...
赞
评论
分享
stonezhu
👨💻
·
4年前
关注
failure: ``union'' expected but `(' found
这个报错在位置在开窗函数执行语句处。 从 Spark 2.0 开始,Spark SQL 才本地实现了开窗函数(SPARK-8641),在 Spark 2.0 之前要使用开窗...
赞
评论
分享
下一页
个人成就
文章被点赞
203
文章被阅读
102,917
掘力值
2,249
关注了
28
关注者
384
收藏集
0
关注标签
8
加入于
2018-06-16