最近看了阿里云数据库团队分享的基于 Doris 的实时数仓实践,干货很多。
业务场景
- 淘宝/天猫的实时大屏
- 广告投放的实时 ROI 分析
- 物流路径的实时优化
日增数据量:500 亿条。单个表的存储量:PB 级别。
关键技术点
1. 数据分层
ODS(原始数据)→ DWD(明细数据)→ DWS(汇总数据)→ ADS(应用数据)
Doris 主要承担 DWS 和 ADS 层的查询,ODS/DWD 层使用 Flink 做实时 ETL。
2. 分区和分桶策略
- 按天分区,保留 30 天热数据
- 分桶键选择高基数字段(比如 user_id)
- 每个分桶 1-3GB,保证查询并行度
3. 物化视图加速
对高频聚合查询(比如"过去 1 小时 GMV")创建物化视图,查询延迟从 3s 降到 50ms。
对学习者的启示
Doris 现在在国内越来越火。相比 ClickHouse,Doris 在标准 SQL 兼容性和运维友好度上更好。如果想进入数据基础设施方向,Doris 值得学习。
参考来源:
评论
评论已关闭。