随着互联网技术和信息技术的发展,信息的数据化产生了许多无法用常规工具量化、处理和捕捉的数字信息。面对多元的数据类型,海量的信息价值,如何有效地对大数据进行挖掘分析,对大数据工作流进行调度,是保障企业大数据任务高效运行的基础。
有了数据平台和数据仓库,选择什么系统来调度和管理数仓任务就显得尤为重要。Apache DolphinScheduler作为新一代的大数据任务调度系统,致力于让调度变得更加容易。身为一款专门针对于大数据平台的工作调度系统,具有本土化风格和多样化的部署方式。同时,Apache DolphinScheduler还拥有十分活跃的社区与定期的交流会。
2022年4月30日将迎来Apache DolphinScheduler四月线上Meetup,Apache DolphinScheduler社区邀请了来自新网银行、联通软研院、中国移动云能力中心等企业的资深大数据工程师与开发者,分享他们在亲身使用、优化与改造Apache DolphinScheduler过程中遭遇的问题与挑战。
话题将围绕Apache DolphinScheduler作为企业离线调度平台的使用场景,针对企业内部场景的优化、改造以及实践过程中遇到的问题,任务拓展、任务血缘耦合,大数据业务组件的连通构建以及Apache DolphinScheduler各个服务启动流程等展开。无论你是Apache DolphinScheduler的开发工程师还是个人爱好者,来到本次Meetup,你一定能听到一手的分享,得到一手的收获!
Apache DolphinScheduler Meetup | 4 月线上直播报名通道已开启,赶快预约吧!
时间:2022-4-30 14:00-17:00
形式:线上直播
点击链接或扫码预约报名(免费):https://www.slidestalk.com/m/781
扫码观看直播
扫码入直播群
陈卫 新网银行 大数据中心 高级大数据工程师
11 年工作经验,早期从事数据仓库建设,后转向大数据基础平台、调度系统等建设,有传统金融行业、互联网数据仓库、数据集市建设经验,多年的调度系统建设经验,咪咕文化分析云调度系统设计,报表平台设计,目前主要负责新网银行 DataOps 体系相关系统建设(离线开发,指标系统,标签系统)。
演讲时间:14:00-14:40
演讲题目:Apache DolphinScheduler 在新网银行的实践应用
演讲概要:新网银行选择 Apache DolphinScheduler 作为其离线调度平台的背景,场景,针对新网内部场景的优化、改造以及实践过程中遇到的问题等。
张柏强 大数据基础平台开发
从事大数据基础平台开发以及底层组件运维
演讲时间:14:40-15:20
演讲题目:Apache DolphinScheduler 应用实践以及扩展开发
演讲概要:分享基于 Apache DolphinScheduler 的任务扩展,任务血缘耦合,调度元数据改造,任务日志优化。
15:20-15:30 抽奖和直播间福袋环节
柏雪松 联通软研院 大数据工程师
毕业于中国农业大学,从事于大数据平台构建和 AI 平台构建,为 Apache DolphinScheduler 贡献 Apache SeaTunnel(Incubating) 插件,并为 Apache SeaTunnel(Incubating) 共享 alluxio 插件。
演讲时间:15:30-16:10
演讲题目:Apache DolphinScheduler 在联通计费环境中的应用
演讲概要:介绍 Apache DolphinScheduler 在联通计费业务中的应用,通过跨集群双活业务调用、AI 开发同步任务运行、业务查询逻辑持久化、数据湖数据统一治理四个典型场景说明其与其他大数据业务组件的连通构建,为大家提供业务参考
徐海辉 中国移动云能力中心 软件开发工程师
在中国移动云能力中心主要负责 BC-hadoop 大数据平台组件Ranger、移动云LakeHouse 产品的研发
演讲时间:16:10-16:50
演讲题目:Apache DolphinScheduler 2.x源码分析
演讲概要:分享 Apache DolphinScheduler 各个服务的启动流程,及相互学习交流如何学习优秀开源项目
欢迎大家参与4月30日Apache DolphinScheduler的线上交流会,下午14:00,我们不见不散!
随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。
参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:
贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。
社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689
如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。
参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。
添加小助手微信时请说明想参与贡献。
来吧,开源社区非常期待您的参与。
手机扫一扫
移动阅读更方便
你可能感兴趣的文章