首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
诗昭
掘友等级
java工程师、大数据工程师
怕不是个傻子
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark实战--搭建我们的Spark分布式架构
如我们所知,spark之所以强大,除了强大的数据处理功能,另一个优势就在于良好的分布式架构。举一个例子在Spark实战--寻找5亿次访问中,访问次数最多的人中,我用四个sp...
2
评论
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark实战--寻找5亿次访问中,访问次数最多的人
对于一个大型网站,用户访问量尝尝高达数十亿。对于数十亿是一个什么样的概念,我们这里可以简单的计算一下。对于一个用户,单次访问,我们通常会记录下哪些数据呢? 我们单单从用户i...
8
评论
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(七)--Spark的intersection、subtract、union和distinct
intersection顾名思义,他是指交叉的。当两个RDD进行intersection后,将保留两者共有的。因此对于RDD1.intersection(RDD2) 和RD...
3
1
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(六)--Spark的combineByKey、sortBykey
combineByKey的强大之处,在于提供了三个函数操作来操作一个函数。第一个函数,是对元数据处理,从而获得一个键值对。第二个函数,是对键值键值对进行一对一的操作,即一个...
4
评论
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(五)--Spark的reduce和reduceByKey
reduce和reduceByKey是spark中使用地非常频繁的,在字数统计中,可以看到reduceByKey的经典使用。那么reduce和reduceBykey的区别在...
5
1
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(四)--Spark的map、flatMap、mapToPair
在上一节Spark经典的单词统计中,了解了几个RDD操作,包括flatMap,map,reduceByKey,以及后面简化的方案,countByValue。那么这一节将介绍...
13
评论
分享
诗昭
关注了
美团技术团队
java工程师、大数据工程师
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(三)--Spark经典的单词统计
既然要统计单词我们就需要一个包含一定数量的文本,我们这里选择了英文原著《GoneWithTheWind》(《飘》)的文本来做一个数据统计,看看文章中各个单词出现频次如何。为...
5
评论
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(二)--如何用Idea运行我们的Spark项目
用IDEA搭建我们的环境有很多好处,其中最大的好处,就是我们甚至可以在工程当中直接运行、调试我们的代码,在控制台输出我们的结果。或者可以逐行跟踪代码,了解spark运行的机...
4
1
分享
诗昭
java工程师、大数据工程师
·
5年前
关注
Spark入门(一)--用Spark-Shell初尝Spark滋味
spark-shell运行过程从上层来看,每一个spark应用都是由驱动器程序发起集群上的并行操作,在spark-shell中驱动器程序就是spark-shell本身。驱动...
4
2
分享
诗昭
关注了
李小小爱
java工程师、大数据工程师
诗昭
关注了
黑金团队
java工程师、大数据工程师
诗昭
关注了
腾讯IVWEB团队
java工程师、大数据工程师
诗昭
关注了
刘望舒
java工程师、大数据工程师
诗昭
关注了
磨剑十年
java工程师、大数据工程师
诗昭
关注了
阿里本地生活技术团队
java工程师、大数据工程师
诗昭
关注了
YClimb
java工程师、大数据工程师
诗昭
关注了
kaliarch
java工程师、大数据工程师
诗昭
关注了
新浪前端搞事情
java工程师、大数据工程师
诗昭
关注了
景略集智
java工程师、大数据工程师
下一页
个人成就
文章被点赞
48
文章被阅读
34,969
掘力值
608
关注了
23
关注者
63
收藏集
0
关注标签
9
加入于
2019-01-14