首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
萧洒的身影
掘友等级
大数据开发工程师
Python,JAVA,大数据
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
33
文章 30
沸点 3
赞
33
返回
|
搜索文章
萧洒的身影
大数据开发工程师
·
4年前
举报
感觉掘金前端类文章占比好大啊,首页推荐一大半都是~
分享
1
点赞
萧洒的身影
赞了这篇沸点
简单不容易
FE @TVBNMG
·
4年前
举报
在地址栏里面玩贪吃蛇
demian.ferrei.ro
收起
查看大图
向左旋转
向右旋转
上班摸鱼
等人赞过
分享
65
168
萧洒的身影
关注了标签
LeetCode
大数据开发工程师
萧洒的身影
关注了标签
大数据
大数据开发工程师
萧洒的身影
关注了标签
Kafka
大数据开发工程师
萧洒的身影
关注了标签
面试
大数据开发工程师
萧洒的身影
赞了这篇文章
个推开发者
程序员 @个推
·
4年前
关注
Spark Streaming的优化之从Receiver到Direct模式
随着大数据的快速发展,业务场景越来越复杂,离线式的批处理框架MapReduce已经不能满足业务,大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streami...
2
评论
分享
萧洒的身影
赞了这篇文章
萧洒的身影
大数据开发工程师
·
4年前
关注
Spark2.4.0和Scala2.11集成Kudu1.8.0遇到的坑
从报错信息来看,kudu不是spark的Data Source。百度了一下,看到有人说把上面那个jar包换成1.9.0版本,也就是 kudu-spark_2.11-1.9....
3
评论
分享
萧洒的身影
赞了这篇文章
萧洒的身影
大数据开发工程师
·
4年前
关注
Structured Streaming通过schema_of_json方法动态解析Kafka的JSON数据的Schema
在实际生产中消息中的字段可能会发生变化,比如多加一个字段什么的,但是Spark程序又不能停下来,所以考虑在程序中不是自定义好Schema,而是通过Kafka输入消息中jso...
4
评论
分享
萧洒的身影
关注了
58沈剑_架构师之路
大数据开发工程师
萧洒的身影
赞了这篇文章
58沈剑_架构师之路
架构师 @58
·
4年前
关注
缓冲池(buffer pool),这次彻底懂了!!!
应用系统分层架构,为了加速数据访问,会把最常访问的数据,放在缓存(cache)里,避免每次都去访问数据库。 操作系统,会有缓冲池(buffer pool)机制,避免每次访问...
204
22
分享
萧洒的身影
大数据开发工程师
·
4年前
关注
CSV文件导入Hive的注意事项
注意是从本地文件上传,hdfs移动,还是查询已有表插入到新表中,数据导入Hive表的语法不同,分别是load data local inpath ...,load data...
赞
评论
分享
萧洒的身影
关注了
stonezhu
大数据开发工程师
萧洒的身影
大数据开发工程师
·
4年前
关注
用 Spark 处理复杂数据类型(Struct、Array、Map、JSON字符串等)
这种数据结构同C语言的结构体,内部可以包含不同类型的数据。还是用上面的数据,先创建一个包含struct的DataFrame Spark 最强的功能之一就是定义你自己的函数(...
7
评论
分享
萧洒的身影
赞了这篇文章
萧洒的身影
大数据开发工程师
·
4年前
关注
《Spark The Definitive Guide》Chapter 6:处理不同类型的数据
就是正常地加减乘除操作,然后就是一些函数,如pow。这里还提了两个函数,一是四舍五入的round,二是计算相关性的皮尔逊相关系数corr 还是回到根本,pandas中Dat...
1
评论
分享
萧洒的身影
大数据开发工程师
·
4年前
关注
《Spark The Definitive Guide》Chapter 4:结构化API预览
这章开头就谈及会深入讲解一下 Spark 的结构化 API(Structured APIs),具体又分为三种核心类型的分布式集合API——Datasets、DataFram...
赞
评论
分享
萧洒的身影
大数据开发工程师
·
4年前
关注
《Spark The Definitive Guide》Chapter 5:基本结构化API操作
通过printSchema方法打印df的Schema。这里Schema的构造有两种方式,一是像上面一样读取数据时根据数据类型推断出Schema(schema-on-read...
1
评论
分享
萧洒的身影
大数据开发工程师
·
4年前
关注
MySQL数据库学习总结性思维导图和相关文章分享
最近找实习找工作,好好地回顾了一下数据库MySQL相关知识,整理出了一张脑图。大体设计类容如下...
赞
评论
分享
萧洒的身影
大数据开发工程师
·
4年前
关注
《Spark The Definitive Guide》Spark 权威指南学习计划
参考本书主页介绍,着眼于Spark 2.0的改进,探索Spark结构化API的基本操作和常用功能,以及用于构建端到端流应用程序的新型高级API Structured Str...
3
评论
分享
萧洒的身影
关注了
芋道源码_艿艿
大数据开发工程师
下一页
个人成就
文章被点赞
22
文章被阅读
52,405
掘力值
786
关注了
16
关注者
23
收藏集
4
关注标签
16
加入于
2017-08-21