Spark基础：（五）Spark编程进阶
共享变量 （1）累加器：是用来对信息进行聚合的，同时也是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个 ......盘点JAVA中基于CAS实现的原子类, 你知道哪些？
JDK中提供了一系列的基于CAS实现的原子类，CAS 的全称是Compare-And-Swap，底层是lock cmpxchg指令，可以在单核和多核 CPU 下都能够保证比较交换的原子性。所以说，这 ......Spark详解(05) - Spark核心编程SparkCore
Spark详解(05) - Spark核心编程SparkCore RDD概述 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。 代码中是一个抽象类， ......![]()
JUC源码学习笔记4——原子类，CAS，Volatile内存屏障，缓存伪共享与UnSafe相关方法
JUC源码学习笔记4——原子类，CAS，Volatile内存屏障，缓存伪共享与UnSafe相关方法 volatile的原理和内存屏障参考《Java并发编程的艺术》 原子类源码基于JDK8 volatil ......![]()
spark listener
最近在做一个需求，当spark程序在读数据或写数据时，将所读的条数或或所写的条数实时的展现出来，这里用到了SparkListener，sparklisten 可以获取spark 各个运行阶段 ......SparkCore
1，定义 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行 ......![]()
java concurrent 并发多线程
Concurrent 包结构 ■ Concurrent 包整体类图 ■ Concurrent包实现机制 综述： 在整个并发包设计上，Doug Lea大师采用了3.1 Concurrent包整体架构的三层结构 补充： ......![]()
LongAccumulator 源码分析
LongAccumulator LongAccumulator 能解决什么问题？什么时候使用 LongAccumulator? 1）LongAccumulator 的逻辑和 LongAdder 基本类似，唯一不同的是 LongAccumulato ......Spark(八)【广播变量和累加器】
目录 一. 广播变量 使用 二. 累加器 使用 使用场景 自定义累加器 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作 ......![]()
spark的运行指标监控
sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？ 1.结合自己的业务，可以将监控页面集成到自己的数据平台内，方便问题查找，邮件告警 2.可 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章