spark集群的简单测试和基础命令的使用
写此篇文章之前，已经搭建好spark集群并测试成功； spark集群搭建文章链接：http://www.cnblogs.com/mmzs/p/8193707.html 一、启动环境 由于每次都要启动，比较麻烦， ......![]()
2 大数据实战系列-spark shell wordcount
cd /home/data/app/hadoop/spark-2.1.1-bin-hadoop2.7/bin ./spark-shell --master spark://shulaibao2:7077 --executor-memory 512m --driver-memory 4540m 初 ......![]()
图解Spark Graphx基于connectedComponents函数实现连通图底层原理
原创/朱季谦 第一次写这么长的graphx源码解读，还是比较晦涩，有较多不足之处，争取改进。 一、连通图说明 连通图是指图中的任意两个顶点之间都存在路径相连而组成的 ......![]()
图解Spark Graphx实现顶点关联邻接顶点的函数原理
在一张社区网络里，可能需要查询出各个顶点邻接关联的顶点集合，类似查询某个人关系比较近的都有哪些人的场景。 在用Spark graphx中，通过函数collectNeighbors便可 ......![]()
大数据实战手册-开发篇之IO
2.4 sparkContext IO:读 2.4.1 textFile Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt ......大数据实战手册-开发篇之RDD:计算 transform->action
2.2 RDD:计算 transform->action 2.2.1 aggregate x = sc.parallelize([2,3,4], 2)[Task不能跨分片，task数为2] neutral_zero_value = (0,1) sum: x+0 = x, pro ......6大数据实战系列-sparkSql实战
sparkSql两个最重要的类SqlContext、DataFrame，DataFrame功能强大，能够与rdd互转换、支持sql操作如sql().where.order.join.groupBy.limit等。 SparkSql的查询响应性 ......Spark RDD惰性计算的自主优化
原创/朱季谦 RDD（弹性分布式数据集）中的数据就如final定义一般，只可读而无法修改，若要对RDD进行转换或操作，那就需要创建一个新的RDD来保存结果。故而就需要用到转 ......![]()
Spark常用算子
Spark是一个快速、通用、可扩展的分布式数据处理引擎，支持各种数据处理任务。Spark提供了许多强大的算子，用于对数据集进行各种转换和操作。 以下是Spark中常用的一些 ......
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章