Spark练习之创建RDD（集合、本地文件），RDD持久化及RDD持久化策略
Spark练习之创建RDD（集合、本地文件） 一、创建RDD 二、并行化集合创建RDD 2.1 Java并行创建RDD——计算1-10的累加和 2.2 Scala并行创建RDD——计算1-10的累加和 三、使用 ......![]()
Spark——DataFrames，RDD，DataSets、广播变量与累加器
Spark——DataFrames，RDD，DataSets 一、弹性数据集(RDD) 创建RDD 1.1RDD的宽依赖和窄依赖 二、DataFrames 三、DataSets 四、什么时候使用DataFrame或者Dataset？ 五、广 ......![]()
27.Spark中transformation的介绍
Spark支持两种RDD操作：transformation和action。transformation操作会针对已有的RDD创建一个新的RDD； 而action则主要是对RDD进行最后的操作，比如遍历、reduce、保存 ......![]()
[DB] Spark Core (1)
生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据 ......![]()
Spark详解(05) - Spark核心编程SparkCore
Spark详解(05) - Spark核心编程SparkCore RDD概述 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。 代码中是一个抽象类， ......![]()
大数据学习day18----第三阶段spark01--------0.前言（分布式运算框架的核心思想，MR与Spark的比较，spark可以怎么运行，spark提交到spark集群的方式）1. spark(standalone模式)的安装 2. Spark各个角色的功能 3.SparkShell的使用，spark编程入门（wordcount案例）
0.前言 0.1 分布式运算框架的核心思想（此处以MR运行在yarn上为例） 提交job时，resourcemanager（图中写成了master）会根据数据的量以及工作的复杂度，解析工作 ......![]()
java实现spark常用算子之Take
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext; import java.util.Arrays ......![]()
Spark练习之action操作开发
Spark练习之action操作开发 一、reduce 1.1 Java 1.2 Scala 二、collect 2.1 Java 2.2 Scala 三、count 3.1 Java 3.2 Scala 四、take 4.1 Java 4.2 Scala 五、saveAsT ......java实现spark常用算子之cartesian
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.a ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章