V2AS
问路
意见反馈
↓ 按住下拉
大数据实战手册-开发篇之IO
2.4 sparkContext IO:读 2.4.1 textFile Load a text file and convert each line to a Row. lines = sc.textFile("examples/src/main/resources/people.txt ......
数据
option
实战
OD
MySQL
Paimon读取流程
查询模式 先来看看官网关于Paimon查询模式的说明 可以看到查询模式围绕snapshot展开, 而snapshot分了两种一种是Last compact snapshot和 last snapshot. 直接 ......
读取
snapshot
流程
org
changelog
图加速数据湖分析-GeaFlow和Apache Hudi集成
表模型现状与问题 关系模型自1970年由埃德加·科德提出来以后被广泛应用于数据库和数仓等数据处理系统的数据建模。关系模型以表作为基本的数据结构来定义数据模型, ......
id
Hudi
数据
Apache
关系
Apache Hudi 元数据字段揭秘
介绍 Apache Hudi 最初由Uber于 2016 年开发,旨在实现一个交易型数据湖,该数据湖可以快速可靠地支持更新,以支持公司拼车平台的大规模增长。 Apache Hudi 现在被业 ......
Hudi
记录
Apache
数据
hoodie
Spark Catalyst 查询优化器原理
这里我们讲解一下SparkSQL的优化器系统Catalyst,Catalyst本质就是一个SQL查询的优化器,而且和 大多数当前的大数据SQL处理引擎设计基本相同(Impala、Presto、Hive(C ......
优化
SQL
Spark
查询
执行
基于Apache Hudi 构建Serverless实时分析平台
NerdWallet 的使命是为生活中的所有财务决策提供清晰的信息。 这涵盖了一系列不同的主题:从选择合适的信用卡到管理您的支出,到找到最好的个人贷款,再到为您的抵押 ......
Hudi
数据
Apache
Amazon
AWS
Apache Hudi 0.9.0版本重磅发布!更强大的流式数据湖平台
1.1 Spark SQL支持 0.9.0 添加了对使用 Spark SQL 的 DDL/DML 的支持,朝着使所有角色(非工程师、分析师等)更容易访问和操作 Hudi 迈出了一大步。 用户现在可以使用 ......
Hudi
版本
Apache
数据
添加
spark知识点_datasources
来自官网DataFrames、DataSets、SQL,即sparkSQL模块。 通过dataframe接口,sparkSQL支持多种数据源的操作。可以把dataframe注册为临时视图,也可以通过关系转换。 1 ......
Spark
parquet
知识点
spark
RDD
SparkSQL学习笔记
概述 冠状病毒来临,宅在家中给国家做贡献之际,写一篇随笔记录SparkSQL的学习笔记,目的有二,一是记录整理之前的知识作为备忘录,二是分享技术,大家共同进步,有问题 ......
Bucket
Spark
Shuffle
bbb
SQL
(hive)hive优化(转载)
1. 概述 可以通过SQL轻松访问数据的工具,从而实现数据仓库任务,如提取/转换/加载(ETL),报告和数据分析; 它可以使已经存储的数据结构化; 可以直接访问存储在Apac ......
Hive
id
hive
map
reduce
V2AS = Way To Ask
V2AS 一个技术分享与创造的静土
手机扫一扫
移动阅读更方便
近15日热搜文章
java与es8实战之五:SpringBoot应用中操作es8(带安全检查:https、账号密码、API Key)
AWS Step Function Serverless Applications
西瓜播放器api的坑 直播设置自动播放
4
Cobaltstrike指令大全/beacon命令
5
Docker-原理解析
6
关于Unity启动调用Android_id问题排查
7
微信小程序使用高德地图(amap)实现检索定位附近周边的POI功能示例
8
WPF 入门笔记 - 04 - 数据绑定
9
QT系列之曲线图绘制(推荐QCustomPlot)
10
【路由器】小米 WR30U 解锁并刷机