Zookeeper的基本原理(zk架构、zk存储结构、watch机制、独立安装zk、集群间同步复制)
HBase可以实现对Regionserver的监控，当个别Regionserver不可访问时，将其负责的分区分给其他Regionsever，其转移过程较快，因为只需要将分区的相关信息转移。Hlog和 ......![]()
（hive）hive优化（转载）
1. 概述 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apac ......![]()
DataFrame的创建
DataFrame的创建从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。Spa ......<<Hive编程指南>>读书笔记
1. 设置hive以本地模式运行(即使当前用户是在分布式模式或伪分布式模式下执行也使用这种模式) set hive.exec.model.local.auto=true; 若想默认使用这个配置,可 ......6.2 DataFrame
一、DataFrame概述 在Spark SQL中，DataFrame就是它的数据抽象，对DataFrame进行转换操作。 DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比 ......![]()
7.Spark SQL
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现是因为关系数据库已经不能满足各种在大数据时代新增的用户需求。首先，用户需要在不同的结构 ......![]()
Hadoop生态系统—数据仓库Hive的安装
数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点： ......![]()
3. Hive相关知识点
以下是阅读《Hive编程指南》后整理的一些零散知识点： 1. 有时候用户需要频繁执行一些命令，例如设置系统属性，或增加对于Hadoop的分布式内存，加入自定的Hive扩展的Ja ......hadoop入门到实战（6）hive常用优化方法总结
问题导读：1、如何理解列裁剪和分区裁剪？2、sort by代替order by优势在哪里？3、如何调整group by配置？4、如何优化SQL处理join数据倾斜？Hive作为大数据领域常用的数据 ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章