美团点评基于 Apache Flink 的实时数仓平台实践

演讲:鲁昊 美团点评高级技术专家

更多大数据架构、实战经验,欢迎关注【大数据每日哔哔】,期待与你一起成长!

实时计算演进与业务实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


基于Flink的实时数仓平台


美团点评基于 Apache Flink 的实时数仓平台实践

传统数仓:(业务、日志)数据存储在 HDFS 上,一般分这几层:ods/dwd/dws/dm,其中dm层的数据会导出到 olap、rds、kv数据库中供业务方使用。ad-hoc查询的数据来源一般来自 ods层或dw层,ad-hoc的查询引擎为 hive/spark/presto。


美团点评基于 Apache Flink 的实时数仓平台实践

实时数仓:也是基于分层的模型ods/dwd/dws/,业务数据和日志数据,事实数据存储在 kafka中,维度数据存储在 Hbase/Tair 中,dm层的数据最终导出到 mq/olap/rds/kv中。ad-hoc 查询基于 Flink 来做。(都是流动的数据)


美团点评基于 Apache Flink 的实时数仓平台实践

在前两者之间,还有一种准实时的数仓模型。准实时也就是不那么实时
ods 层的数据放在 kafka 中,dws/dwd/dm 都是在 olap 中来做,基于olap的计算能力进一步加工。dim表存储在 Hbase 中。ad-hoc查询基于 olap 来做。


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


未来发展与思考


美团点评基于 Apache Flink 的实时数仓平台实践


美团点评基于 Apache Flink 的实时数仓平台实践


分享到:


相關文章: