【Spark Core】（三）RDD的持久化

1 RDD的数据是过程数据

• RDD之间进行相互迭代计算（Transform转换），当执行开启后，新的RDD生成，老的RDD消失
• RDD的数据是过程数据，只在处理的过程中存在，一旦处理完成就不见了。
• 这个特性可以最大化利用资源，老的RDD没用了，就从内存中清除，给后续的计算腾出内存。
  

2 RDD缓存

• RDD缓存：Spark提供了缓存API，可以通过调用API将指定的RDD数据保留在内存或硬盘上
• 缓存在设计上认为是不安全的，会保存前置RDD的血缘关系
• 缓存是分散存储的

# RDD3被两次使用，可以加入缓存进行优化
rdd.cache()																	# 缓存到内存中
rdd.persist(StorageLevel.MEMORY_ONLY)				# 仅内存缓存
rdd.persist(StorageLevel.MEMORY_ONLY_2)			# 仅内存缓存，2副本
rdd.persist(StorageLevel.DISK_ONLY)						# 仅磁盘缓存
rdd.persist(StorageLevel.DISK_ONLY_2)					# 仅磁盘缓存，2副本
rdd.persist(StorageLevel.MEMORY_AND_DISK)		# 先缓存到内存，不够缓存到硬盘
rdd.persist(StorageLevel.MEMORY_AND_DISK_2)	# 先缓存到内存，不够缓存到硬盘，2副本
rdd.persist(StorageLevel.OFF_HEAP)						# 堆外内存（系统内存）

#  一般建议使用rdd3.persist(StorageLevel.MEMORY_AND_DISK)
# 内存较小的集群，建议使用rdd3.persist(StorageLevel.DISK_ONLY) 或使用CheckPoint

# 主动清理缓存的API
rdd.unperisist()

3 RDD CheckPoint

• CheckPoint仅支持硬盘缓存（HDFS）
• CheckPoint设计上认为是安全的，不保留血缘关系
• CheckPoint是集中收集各个分区数据进行存储的

# 设置CheckPoint第一件事：选择CP的保存路径
# 如果是local模式，可以支持本地文件系统，如果在集群运行，务必用HDFS
sc.setCheckpointDir("hdfs://node1:8020/output/aaa123ckp")
# 使用时直接调用checkpoint算子即可
rdd.checkpoint()

4 缓存 VS CheckPoint

• CheckPoint不论分区数量多少，风险一致；缓存分区越多，风险越高
• CheckPoint支持写入HDFS；缓存不支持。HDFS是高可靠存储，CheckPoint被认为是安全的
• CheckPoint不支持内存；缓存支持。缓存如果写内存，性能比CheckPoint好
• CheckPoint设计上认为是安全的，所以不保留血缘关系；缓存设计上认为是不安全的，所以保留血缘关系。