首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
光羽隼
掘友等级
大数据开发
一个人要像一支队伍,对着自己的头脑和心灵招兵买马,不气馁,有召唤,
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
10
文章 10
沸点 0
赞
10
返回
|
搜索文章
光羽隼
大数据开发
·
5月前
关注
Spark- Spark相关问题 未完成
1、Spark有几种部署模式,分别简要论述 2、Spark用什么提交 shell 脚本 3、Spark 提交作业的参数 4、简述Spark架构,以及作业提交的流程 5、如何...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
Hive- Hive相关问题 未完成
1、Hive的结构 2、Hive和数据哭的比较 3、内部表和外部表 4、四个By 5、窗口函数 窗口函数指定范围的用法 6、Hive优化...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-数仓中使用哪种数据存储格式?ORC和Parquet的区别
数据存储格式有textFile,sequenceFile,ORC,Parquet等 ods层使用textFile存储格式,使用Gzip压缩格式。因为ods层数据量大,访问频...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-数仓0-1建设的过程
通过三步调研(业务调研、需求调研、数据调研),划分主题域 业务调研初步确定dw层主题域, 需求调研初步确定应用层主题域, 数据调研,整理现有数据源、数据字典,形成数据调研表...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
Hive - 大致描述自定义函数 UDF、UDAF、UDTF
UDF 继承GenericUDF类,重写initialize,evaluate方法,init方法是对输入参数进行合法化验证,并对输出数据的类型进行定义,evaluate函数...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-数仓分层 未完
什么是数仓分层 将源数据根据规则进行处理,并落到hive表中。 为什么要数仓分层 为了让数据链路更清晰,数据使用起来更方便,建立分层数仓,也可以避免重复计算的问题。 怎么做...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-事实表相关
什么是事实表? 记录一个业务过程的表叫做事实表。 比如广告点击表,记录的就是一条广告被点击的业务过程。 事实表的作用 描述业务过程; 事实表都包含哪些类型? 事务型事实表:...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-数据一致性
什么是数据一致性问题 一个概念在不同的业务中存在两种不同的解释或者表现,比如很简单的性别,在游戏部门性别男被定为1,女被定为0;商业化部门男被定为0,女被定为1.其实如果分...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-关于数仓的基础概念
OLTP 传统的联机事务处理系统。尽最大可能减少冗余,包含增删改查操作,通常采用规范化的技术来设计数据模型 OLAP 联机分析处理系统,主要面临的是数据追加和数据查询分析。...
赞
评论
分享
光羽隼
大数据开发
·
5月前
关注
数仓-谈谈你对数仓的理解,数仓为什么要分层
数仓是什么, 是用来干什么的?为什么要用到数仓?什么样的场景需要用到数仓?普通数仓和大数据数仓有什么区别...
赞
评论
分享
光羽隼
关注了
Ros1n
大数据开发
光羽隼
大数据开发
·
7月前
关注
spark提交作业的参数
待补充:收集尽可能多的参数,这里只是几个主要的参数 示例 spark提交作业示例 都有什么参数 spark提交作业中的参数: master 指定spark提交的方式,可以是...
赞
评论
分享
光羽隼
赞了这篇文章
hahahey
前端开发 @杭州某某某公司
·
7月前
关注
理解BFC
BFC(块级格式化上下文)是css中的一个概念,决定元素如何对其内容进行定位,以及与其他元素的关系和相互作用。 BFC是一个独立的渲染区域,内部元素按照一定规则进行排列和布...
1
评论
分享
光羽隼
大数据开发
·
7月前
关注
每日一题:手写wordcount
wordcount手写的多种实现方式,还有不完善的地方,后期补充并完善不同实现方式的优缺点。wordcount是最经典和最基础的大数据统计案例,很多复杂问题都可以拆解成wo...
赞
评论
分享
光羽隼
大数据开发
·
1年前
关注
二、Scala的方法与函数
零、匿名方法的简化逻辑 一、方法的定义 def 方法名(带有类型的参数):返回值类型={ 方法内容 } 注意点: 方法的定义使用def 可以定义传入的参数,要制定参数的类型...
赞
评论
分享
光羽隼
大数据开发
·
1年前
关注
一、Scala简介、类和对象、简单语法
为什么学习Scala? 因为需要学习Spark,而Spark框架开发使用最好的语言就是Scala,虽然Java也可以进行Spark的开发,但是不如Scala效率高,并且市面...
赞
评论
分享
光羽隼
关注了
五分钟学大数据
大数据开发
光羽隼
赞了这篇文章
猫眼技术团队
猫小娱 @猫眼娱乐
·
4年前
关注
数据仓库的建设方法篇
数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通八达。在企业级数据应用上单一业务使用方便,且灵...
19
评论
分享
光羽隼
赞了这篇文章
hahahey
前端开发 @杭州某某某公司
·
2年前
关注
为什么useState返回值是数组,而不是对象?
为什么useState的返回值是数组?为什么不能是对象呢? 在搞清楚这个问题之前,首先来看下数组解构和对象解构做一个了解。 数组解构: 这里数组通过解构给变量a,b,c分别...
13
评论
分享
光羽隼
赞了这篇文章
说出你的愿望吧
Developer @🍨Vzan
·
4年前
关注
带你入坑大数据(一) --- HDFS基础概念篇
从零开始的高并发系列我们已经把 zookeeper 给更新完了,顺带一提之前的zookeeper并没有结合大数据来进行说明。重新开个坑一方面是一直都想找个理由来总结一下大数...
91
5
分享
下一页
个人成就
文章被阅读
418
掘力值
84
关注了
16
关注者
2
收藏集
6
关注标签
23
加入于
2016-08-25