阿里基于 Doris 的实时数仓实践:每天 500 亿条数据

最近看了阿里云数据库团队分享的基于 Doris 的实时数仓实践,干货很多。

业务场景

  • 淘宝/天猫的实时大屏
  • 广告投放的实时 ROI 分析
  • 物流路径的实时优化

日增数据量:500 亿条。单个表的存储量:PB 级别。

关键技术点

1. 数据分层

ODS(原始数据)→ DWD(明细数据)→ DWS(汇总数据)→ ADS(应用数据)

Doris 主要承担 DWS 和 ADS 层的查询,ODS/DWD 层使用 Flink 做实时 ETL。

2. 分区和分桶策略

  • 按天分区,保留 30 天热数据
  • 分桶键选择高基数字段(比如 user_id)
  • 每个分桶 1-3GB,保证查询并行度

3. 物化视图加速

对高频聚合查询(比如"过去 1 小时 GMV")创建物化视图,查询延迟从 3s 降到 50ms。

对学习者的启示

Doris 现在在国内越来越火。相比 ClickHouse,Doris 在标准 SQL 兼容性和运维友好度上更好。如果想进入数据基础设施方向,Doris 值得学习。


参考来源:

关于 Zihao Zhang

后端开发工程师。关注 Java/Spring Boot/Redis/MySQL 技术栈,分布式系统,OLAP 数据库,AI Agent 开发与应用。

评论

评论已关闭。