V2AS
问路
意见反馈
↓ 按住下拉
HiveSQL在使用聚合类函数的时候性能分析和优化详解
前文我们写过简单SQL的性能分析和解读,简单SQL被归类为select-from-where型SQL语句,其主要特点是只有map阶段的数据处理,相当于直接从hive中取数出来,不需要经过 ......
col
SQL
stats
map
regr
[JZOJ100043] 【NOIP2017提高A组模拟7.13】第K小数
Description 有两个正整数数列,元素个数分别为N和M。从两个数列中分别任取一个数相乘,这样一共可以得到N*M个数,询问这N*M个数中第K小数是多少。 Input 输入文件 ......
NOIP2017
模拟
large
Limits
ll
一文理解Hadoop分布式存储和计算框架入门基础
目录 概述 定义 发展历史 发行版本 优势 生态项目 架构 组成模块 HDFS架构 YARN架构 部署 部署规划 前置条件 部署步骤 下载文件(三台都执行) 创建目录(三台都 ......
value
property
hadoop
Hadoop
commons
[大数据]sqoop安装与运用
1 文由 项目使用场景:OLTP Oracle 数据导入到 OLAP HIVE 2 Sqoop简述 Apache Sqoop(TM) 是一款开源的ETL工具,设计用于在 Apache Hadoop和结构化数据存储(如传统 ......
sqoop
hadoop
org
apache
HOME
Hive配置
Tez
引擎踩坑
框架版本 Hadoop 2.7.7 Hive 2.3.7
Tez
0.9.2 保证hadoop集群启动,hive元数据服务启动 上传
tez
到HDFS tar -zxvf apache-
tez
-0.9.2-bin.tar.gz mv apache-
tez
-0.9 ......
tez
hive
property
配置
Tez
Zookeeper的基本原理(zk架构、zk存储结构、watch机制、独立安装zk、集群间同步复制)
HBase可以实现对Regionserver的监控,当个别Regionserver不可访问时,将其负责的分区分给其他Regionsever,其转移过程较快,因为只需要将分区的相关信息转移。Hlog和 ......
Zookeeper
集群
节点
HBase
分布式
一面数据: Hadoop 迁移云上架构设计与实践
一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时、全面的数据洞察。长期服务全球快消巨头(宝 ......
JuiceFS
EMR
数据
架构设计
Hadoop
(hive)hive优化(转载)
1. 概述 可以通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析; 它可以使已经存储的数据结构化; 可以直接访问存储在Apac ......
Hive
id
hive
map
reduce
Hive 安装和配置
环境准备 已安装 HDFS 和 Yarn 集群环境 Windows 已安装 MySQL 8 (开启远程连接用户权限) 安装步骤 1. 上传并解压 Hive 安装文件 将 apache-hive-3.1.2-bin.tar. ......
root
node
hive
01
Hive
Spark详解(02) - Spark概述
Spark详解(02) - Spark概述 什么是Spark Hadoop主要解决,海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 H ......
Spark
Executor
Driver
详解
集群
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章
Paxos协议超级详细解释+简单实例
在 Android studio 中 配置Gradle 进行 “动态编译期间,指定 远程服务器地址 ,生成多个安装包”
Linux下安装ffmpeg,视频格式转换
4
C# 检测某版本VC++是否安装
5
再来一个tensorflow的测试性能的代码
6
linux下生成动态库和链接动态库
7
Kanboard 看板工具配置使用
8
一次 RocketMQ 进程自动退出排查经验分享(实战篇)
9
Qt Charts 动态实时绘制各种曲线图
10
unity优化 — UGUI纹理格式的选择