Cloudera Manager 5.9 和 CDH 5.9 离线安装指南及个人采坑填坑记
公司的CDH早就装好了，一直想自己装一个玩玩，最近组了台电脑，笔记本就淘汰下来了，加上之前的，一共3台，就在X宝上买了CPU和内存升级了下笔记本，就自己组了个集群。 ......![]()
spark集群的简单测试和基础命令的使用
写此篇文章之前，已经搭建好spark集群并测试成功； spark集群搭建文章链接：http://www.cnblogs.com/mmzs/p/8193707.html 一、启动环境 由于每次都要启动，比较麻烦， ......![]()
3 大数据实战系列-spark shell分析日志
文件格式： 访问时间\t用户ID\t[查询词]\t该URL在返回结果中的排名\t用户点击的顺序号\t用户点击URL 数据文件越大越好，至少100万行 ./spark-shell --master spar ......2 大数据实战系列-spark shell wordcount
cd /home/data/app/hadoop/spark-2.1.1-bin-hadoop2.7/bin ./spark-shell --master spark://shulaibao2:7077 --executor-memory 512m --driver-memory 4540m 初 ......![]()
大数据实战手册-开发篇之IO
2.4 sparkContext IO:读 2.4.1 textFile Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt ......基于Spark的大规模日志分析
摘要：本篇文章将从一个实际项目出发，分享如何使用 Spark 进行大规模日志分析，并通过代码演示加深读者的理解。 本文分享自华为云社区《【实战经验分享】基于Spark的大 ......Spark基础入门（01）—RDD
1，基本概念 RDD（Resilient Distributed Dataset) ：弹性分布式数据集 它是Spark中最基本的数据抽象，是编写Spark程序的基础。简单的来讲，一个Spark程序可以概括为： ......![]()
Idea运行时Scala报错Exception in thread "main" java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
一.情况描述 使用idea +scala+spark，运行程序代码如下： package cn.idcast.hello import org.apache.spark.rdd.RDD import org.apache.spark import org.apach ......![]()
Spark(六)【RDD的血缘依赖】
RDD依赖关系 1. RDD血缘关系 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。RDD的Lin ......Flink提交流程和架构
一、Flink提交任务的流程 Flink任务提交后，Client向HDFS上传Flink的jar包和配置，之后向Yarn ResourceManager提交任务，ResourceManager分配Container资源并通知 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章