首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
源码那些事儿
掘友等级
公众号:源码那些事儿
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
1
文章 1
沸点 0
赞
1
返回
|
搜索文章
最新
热门
ThreadLocal原理
什么是ThreadLocal? ThreadLocal从字面意思理解是线程本地变量。变量好理解就是存取值,那线程本地如何理解呢?又是如何实现的呢?我们来探究一下。 关于线程本地变量的理解总体来说有两点
MapReduce源码分析二:ReduceTask执行流程
概述 ReduceTask是MapReduce程序reduce阶段执行的具体任务,同MapTask一样上层受MRAppMaster协调调度;内部基于ReduceContext管理各个组件。其主要功能包
MapReduce源码分析一:MapTask执行流程
概述 MapTask是MapReduce程序map阶段执行的具体任务,上层受MRAppMaster协调调度;内部基于MapContext管理各个组件。其主要功能包括: 调用输入组件读取数据 调用Map
深入Java动态代理源码
背景介绍 什么是动态代理? 动态代理,本质上还是代理模式,只不过代理类是在JDK内部产生并创建实例(字节码编辑)。 再者其内部还维护了一个基于弱引用的缓存结构。总结来说:动态代理 = 代理模式 + 字
深入AbstractQueuedSynchronizer源码及锁特性
背景介绍 我们知道,基于AbstractQueuedSynchronizer线程同步器可以很方便的实现锁的一些高级特性,比如: 公平性、非公平性 可重入特性 超时机制 响应中断 共享、独享 举个例子,
深入Java Stream源码
探究一下Java Stream的架构设计与源码实现。 场景介绍 首先来看一段典型代码: 从代码中看到,List#stream()创建对应的Stream实例,然后进行链式调用,依次为map()、filt
JAVA泛型通配符 <? extends T>与<? super T>
泛型,即类型的参数化。指定具体类型信息,在编译阶段进行约束。 多态机制,在JAVA语言中是同封装、继承并列的三大特性之一;是构建灵活、可扩展性程序的基础。 其通常表现形式是父类引用指向子类对象。 多态的使用,在变量赋值、方法调用、模块交互等都有着广泛的使用。 参数化类型不能直接…
Spark读hive text表之非shuffle方式增大并行度
正常情况下,一个spark task要处理一个partition即128M的数据,因处理过程较耗时而成为任务瓶颈。 大的方向是进行任务拆分,增大并行度。 结论:测试发现,虽然增大了业务处理的并行度,但shuffle操作的开销比较大,因此整体的耗时没有明显减少。 用以实现spar…
Spark写入es:EsHadoopRemoteException: version_conflict_engine_exception
es客户端在写入es时,数据现有的版本号与它所持有的版本号不一致,即有别的client已经修改过数据。 1)首先思考:确保了_id全局唯一,正常情况下同一个_id的数据,仅会被一个spark task执行一次。而es基于乐观锁进行控制,只有其他client在当前client读写…
Spark local模式连接集群hdfs、hive
Spark提供了local、standalone、on yarn等多种运行模式,但为了保持开发环境与实际运行环境的一致性,通常都是在本地编写代码,然后编译并上传jar包到Spark集群调试运行。 但是面对复杂的处理逻辑,或遇到性能问题要修改代码时,开发人员将不得不多次进行修改、…
下一页
个人成就
文章被点赞
15
文章被阅读
13,265
掘力值
364
关注了
0
关注者
3
收藏集
0
关注标签
1
加入于
2019-05-13