课程进度 14% · 第2/8章第2/8章 · 标签 1/8
— 1 —
先画数据路径，再选工具
学习平台的基本路径是客户端发送事件、接入服务校验、持久层留存、计算作业清洗汇总、查询层服务报表。消息队列缓冲突发流量并支持一定范围的重放，但不能替代所有长期存储；对象存储适合大规模文件，关系数据库适合小规模交互查询。先确定每天的数据量、允许延迟和重放期限，再把工具放进具体职责中。
例如日报查询慢不一定要换计算引擎，也可能只是未按日期选择输入；先画出读取范围与结果消费者，再定位延迟来自哪个职责。
— 2 —
分清计算与存储职责
Spark是计算引擎，读取JSON或Parquet后执行转换和聚合；它不是天然保存所有业务数据的数据库。驱动程序组织任务，执行器运行分区上的计算。文件目录保存数据，元数据描述字段和分区，调度器安排作业依赖。初学阶段用本机Python和文件模拟这些边界，理解失败从何处恢复，比一次安装整套生态更有价值。
计算结束后是否仍能查询结果取决于输出是否持久化。驱动进程关闭不会自动保存内存集合，因此每层都应声明哪些状态可以重建。