Hadoop - MapReduce 过程
Hadoop - MapReduce map--->映射 reduce--->归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强 ......![]()
Spark基本知识
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 spark与hadoop的区别 Hadoop Hadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并 ......![]()
一文理解Hadoop分布式存储和计算框架入门基础
目录 概述 定义 发展历史 发行版本 优势 生态项目 架构 组成模块 HDFS架构 YARN架构 部署 部署规划 前置条件 部署步骤 下载文件（三台都执行） 创建目录(三台都 ......![]()
Yarn【架构、原理、多队列配置】
目录 一.什么是yarn 二.yarn的基本架构和角色 三.yarn的工作机制 四.任务提交流程 五.资源调度器 FIFO 容量调度器 公平调度器 六.容量调度器多队列提交案例实操 ......![]()
Distributed | MapReduce
最近终于抽出时间开始学习MIT 6.824，本文为我看MapReduce论文和做lab后的总结。 [MapReduce英文论文] lab要用到go语言，这也是我第一次接触。可以参考go语言圣经学 ......![]()
MapReduce04 框架原理Shuffle
目录 2 MapReduce工作流程 3 Shuffle机制(重点) 3.1 Shuffle机制 3.2 Partition分区 默认Partitioner分区 自定义Partitioner分区 自定义Partition分区案例 需求 ......![]()
[大数据]sqoop安装与运用
1 文由 项目使用场景：OLTP Oracle 数据导入到 OLAP HIVE 2 Sqoop简述 Apache Sqoop(TM) 是一款开源的ETL工具，设计用于在 Apache Hadoop和结构化数据存储（如传统 ......![]()
04 Hadoop思想与原理
Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何 ......![]()
浅谈MySQL、Hadoop、BigTable、Clickhouse数据读写机制
个人理解，欢迎指正 数据库 引擎 写数据 读数据 补充 MySql InnoDB：支持事务，高速读写性能一般 Myisam：不支持事务，高速读写性能好 以InnoDB更新一条记录 ......MapReduce01 概述
MapReduce 概述 目录 MapReduce 概述 1.定义 2.优缺点 优点 缺点 3.MapReduce核心思想 4.MapReduce进程 5.官方 WordCount 源码 6.常用数据序列化类型 7.MapRedu ......![]()
↓ 按住下拉
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章