Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 [root ......![]()
Centos7搭建hadoop3.3.4分布式集群
目录 1、背景 2、集群规划 2.1 hdfs集群规划 2.2 yarn集群规划 3、集群搭建步骤 3.1 安装JDK 3.2 修改主机名和host映射 3.3 配置时间同步 3.4 关闭防火墙 3.5 配置s ......![]()
Hadoop安装-分布式-Fully
Hadoop安装-分布式-Fully 〇、所需资料 一、配置 （1）系统安装 （2）hostname主机名配置 （3）ip地址、dns、hosts映射文件配置 （4）关闭防火墙与selinux （5）开启ntpd时钟同 ......![]()
YARN学习总结之环境搭建
Yarn环境搭建（基于hadoop-2.6.0-cdh5.7.0 伪分布） 1)配置文件 etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framewor ......SparkSql学习笔记（包含IDEA编写的本地代码）
Spark SQL and DataFrame 1.为什么要用Spark Sql 原来我们使用Hive，是将Hive Sql 转换成Map Reduce 然后提交到集群上去执行，大大简化了编写MapReduce的程序的复 ......![]()
Failed to create Spark client for Spark session
最近在hive里将mr换成spark引擎后，执行插入和一些复杂的hql会触发下面的异常： org.apache.hive.service.cli.HiveSQLException: Error while compiling statemen ......![]()
基于ambari搭建hadoop生态圈大数据组件
Ambari介绍1Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zoo ......Standalone集群搭建和Spark应用监控
注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815920501530034696/ 承接上一篇文档《Spark词频前十的统计练习》 Spark on standalone 类似于yarn的一 ......![]()
HDFS学习总结之安装
HDFS linux安装总结（基于hadoop-2.6.0-cdh5.7.0 伪分部安装） 1、jdk安装 1） 直接下载jdk包放到安装目录即可（jdk-8u131-linux-x64.tar.gz解压到安装目录） 2）配置环 ......
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章