开发者社区> 云祁> 正文

【实时数仓篇】（02）基于 Flink 的典型 ETL 场景实现1

2022-06-13 296

简介： 【实时数仓篇】（02）基于 Flink 的典型 ETL 场景实现1
+关注继续查看

文章目录

一、前言


二、实时数仓概述

2.1 实时数仓产生背景

2.2 离线数仓架构

2.3 实时数仓产生背景

2.4 实时数仓架构 - Lambda架构

2.5 实时数仓架构 - kappa架构

2.6 实时数仓架构 - 实时OLAP架构

2.7 离线数仓 vs. 实时数仓


三、基于Flink实线典型场景

3.1 维表join - 预加载维表

3.2 维表join - 预加载维表

3.3 维表join - 热存储关联

3.4 维表join - 广播维表

3.5 维表join - Temporal table function join

3.6 双流join - 离线join vs. 实时join


一、前言

本文是学习Flink中文社区实时数仓篇的总结，课程地址 https://www.bilibili.com/video/av92215954/


讲师：讲师：买蓉（美团点评 高级技术专家）。


二、实时数仓概述

2.1 实时数仓产生背景

20200714112251717.png


2.2 离线数仓架构

20200714112528189.png


2.3 实时数仓产生背景

20200714140409848.png


2.4 实时数仓架构 - Lambda架构

20200714140557165.png


资源和运维成本较高，所以发展为kappa架构


2.5 实时数仓架构 - kappa架构

20200714140810623.png


2.6 实时数仓架构 - 实时OLAP架构

20200714140920251.png

20200714141025147.png


2.7 离线数仓 vs. 实时数仓

20200714141128231.png



版权声明：本文内容由便宜云服务器实名注册用户自发贡献，版权归原作者所有，便宜云服务器开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《便宜云服务器开发者社区用户服务协议》和《便宜云服务器开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

存储 运维 OLAP 流计算
实时计算 Flink版实时数仓 实时数仓 Hologres flink 实时计算 Flink版场景 实时计算 Flink版 ETL 实时计算 Flink版实时
开发者社区 > 大数据 > 文章
作者高分内容
更多
数仓实践：浅谈 Kimball 维度建模2 307 数仓实践：浅谈 Kimball 维度建模1 348 数仓实践：总线矩阵架构设计2 728 数仓实践：总线矩阵架构设计1 1021 数仓建设：数据域和主题域是什么关系？ 2453
相关文章
灵杰开发者
小米基于 Flink 的实时数仓建设实践
本次分享围绕小米在实时数仓方面的探索与实践展开，主要涉及：Flink+Iceberg 实时数仓架构升级，稳定性与实时性优化；基于当前 Flink 实时数仓的不确定性问题，介绍 Merge into 功能和算子级状态清理的解决方案。
146 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（1）
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（1）
53 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（2）
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（2）
41 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（3）
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（3）
39 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（4）
《Apache Flink 案例集（2022版）》——2.数据分析——美团-Flink 的实时数仓平台建设（4）
33 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（上）
《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（上）
24 0
编程达人
《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（下）
《Apache Flink 案例集（2022版）》——2.数据分析——BIGO-BIGO使用Flink做OLAP分析及实时数仓的实践和优化（下）
27 0
便宜云服务器实时计算Flink
快手基于 Apache Flink 的实时数仓建设实践
快手实时数据开发工程师冯立，快手实时数据开发工程师羊艺超，在 Flink Forward Asia 2022 实时湖仓专场的分享。
555 0
便宜云服务器实时计算Flink
Apache Flink X Apache Doris 构建极速易用的实时数仓架构
在本次分享中，将为大家介绍如何基于 Apache Doris 和 Apache Flink 构建极速易用的实时数仓架构。
737 0
auqbllxiu
《实时数仓“王炸组合”实时计算Flink版+Hologres》电子版地址
精品的内容促使训练营非常受大家的欢迎，为满足大家求知学习的劲头，我们现将《实时数仓入门训练营》的课程内容全部整理了出来！汇编成《实时数仓“王炸组合”-实时计算Flink版+Hologres》的合集电子书！供各位小伙伴学习参考，免费下载！
51 0
+关注
云祁
文章
问答
视频
作者高分内容
更多
数仓实践：浅谈 Kimball 维度建模2 307 数仓实践：浅谈 Kimball 维度建模1 348 数仓实践：总线矩阵架构设计2 728 数仓实践：总线矩阵架构设计1 1021 数仓建设：数据域和主题域是什么关系？ 2453
文章排行榜
最热
最新
1 MIPS架构深入理解9-向MIPS移植软件之Cache管理 40662
2 C++ STL容器和算法：详解和实例演示 39521
3 Go 方法接收器：选择值接收器还是指针接收器？ 38132
4 代码的简单设计五原则 31119
5 使用篇丨链路追踪（Tracing）很简单：链路拓扑 30606
6 如何提高光伏发电效能异常检出效率的实践案例 28284
7 java 泛型 万字详解（通俗易懂) 28144
8 日志服务 SLS 和开源 ELK 全面对比 28059
9 数据一致性比对（番外） 27414
10 便宜云服务器检索分析服务Elasticsearch版内核持续优化 25293
11 【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务 21707
12 高性能的本地缓存方案选型，看这篇就够了！ 21548
13 PolarDB-X 致数据库行内人 (一) ~ 如何有效评测国产数据库的分布式事务 15317
14 实践教程之体验PolarDB-X分布式事务和数据分区 10367
15 Python3，自从掌握了这个方法，再也不用print进行调试了。 14618
16 现场直击：2023便宜云服务器峰会精彩发布抢先看（内含福利） 335140
17 如何解决IoT数据入仓的客户实践 8636
18 大数据&AI产品月刊【2023年4月】 5418
19 ClickHouse创始人：融合数据库该“卷”的还是性能和速度 55367
20 便宜云服务器联合埃森哲正式发布《跨国企业上云登陆区（Landing Zone）白皮书》 50777
1 AIGC创作家 152
2 当MySQL想恋爱，java和navicate抢着做媒婆 ------ java连接MySQL数据库 & navicat for MySQL 连接 90
3 亿视电子基于PolarDB-X打造能源数字基座实践 67
4 全面升级，重磅上线！容器服务ASK评测携大奖前来！ 60
5 便宜云服务器丁宇：云上开发成为主流，Serverless 定义新范式 67
6 便宜云服务器AI新品“通义听悟”，开放公测！ 1569
7 LeetCode算法小抄--二叉搜索树 125
8 小米基于 Flink 的实时数仓建设实践 146
9 便宜云服务器OpenSearch重磅推出LLM问答式搜索产品，助力企业高效构建对话式搜索服务 715
10 便宜云服务器“通义听悟”正式公测：用户可免费领100小时转写服务 7346
11 Bean异步初始化，让你的应用启动飞起来 5968
12 图解LeetCode——98. 验证二叉搜索树 11032
13 图解LeetCode——108. 将有序数组转换为二叉搜索树 100
14 Windows上的实用CMD命令 10890
15 关于编辑Windows的右键【新建】删除和添加 11171
16 SpringMVC总结_从RESTful到拦截器 10894
17 进阶篇丨链路追踪（Tracing）很简单：链路成本指南 6105
18 一口气整理三种不同运营商要素验证API的Java 接入代码 81
19 python异常处理 10701
20 Git分支教程：详解分支创建、合并、删除等操作 10942
相关课程
更多
Apache Flink 入门
4439
9
去学习
推荐文章
现场直击：2023便宜云服务器峰会精彩发布抢先看 AIGC主题征文开启，参与赢取富士拍立得 乘风伯乐招募令，邀请伯乐获取多重好礼！ 乘风者计划邀您入驻社区，精彩权益即刻享
相关电子书
更多
Flink CDC Meetup PPT - 徐榜江
立即下载
低代码开发师（初级）实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
相关实验场景
更多
基于Hologres轻松玩转一站式实时仓库
1129
3.0小时
去实验


http://www.vxiaotou.com