教案：在 Spark 上使用 Horovod 进行分布式训练
课程目标
- 理解 Horovod 与 Spark 的集成及其优势。
- 学习使用 Horovod 的 Estimator API 进行模型训练。
- 掌握使用 Horovod 的 Run API 实现更细粒度的控制。
- 掌握在 GPU 和 CPU 环境下配置 Spark 集群进行深度学习任务。
- 学习在 Databricks 上运行 Horovod 训练作业。
课程内容
部分一：Horovod on Spark 简介
Horovod 简介
- 分布式深度学习的概念
- Horovod 的作用与优势
Spark 简介
- Spark 的基本概念
- Spark 集群架构
Horovod 与 Spark 的集成
horovod.spark包的功能- 数据处理、模型训练和评估的一体化流程
部分二：安装与准备
安装 Horovod
- 安装命令和依赖要求
- 支持的深度学习框架（TensorFlow、PyTorch）
必要的依赖
- Horovod 版本要求
- PySpark 版本要求
- 深度学习框架要求
部分三：使用 Estimator API 进行模型训练
Estimator API 概述
- 高层抽象的优势
- 数据处理、训练循环、检查点和指标收集的自动化
使用 Keras Estimator 进行训练
- 编写 Keras 模型
- 创建并配置 KerasEstimator
- 训练模型并进行预测
数据加载与自定义
- 默认数据加载器 Petastorm
- 自定义数据加载器的实现
- NVTabularDataModule 的集成
端到端示例
- 罗斯曼商店销售预测示例
- 数据预处理、模型定义和训练、预测与提交
部分四：使用 Run API 进行分布式训练
Run API 概述
- 细粒度控制的优势
- 使用
horovod.spark.run运行训练逻辑
示例代码
- 运行简单的分布式任务示例
- 罗斯曼商店销售预测的低级 API 实现
部分五：配置 Spark 集群进行深度学习
GPU 训练的集群配置
- 配置独立的 GPU Spark 集群
- 配置 Spark Worker 和 Executor
CPU 训练的集群配置
- 配置 Spark 任务的 CPU 核心数
- 复用数据准备和训练的 Spark 集群
部分六：在 Databricks 上使用 Horovod
在 Databricks 上运行 Horovod
- 创建 DBFS Store 实例
- Databricks 上的 GPU 调度配置
Estimator API 与 Run API 的使用
- 分配 GPU 资源
- 使用
get_available_devices获取 GPU 列表 - 忽略 Spark 分配的 GPU 设备
教学活动
讲解与演示
- 使用幻灯片介绍 Horovod 和 Spark 的集成。
- 实时演示如何安装 Horovod 并进行环境配置。
- 演示使用 Estimator API 和 Run API 进行分布式训练的具体步骤。
实践操作
- 学生动手安装 Horovod 并配置环境。
- 练习编写 Keras 和 PyTorch 模型，并使用 Estimator API 进行训练。
- 进行数据加载自定义和端到端示例的完整实现。
问答与讨论
- 提问学生关于 Horovod 和 Spark 集成的理解。
- 讨论在实际项目中如何应用这些知识。
- 解答学生在实践操作中遇到的问题。
作业与课后练习
- 要求学生独立完成罗斯曼商店销售预测示例的实现。
- 提交自定义数据加载器的实现方案。
- 编写一个新的分布式训练任务并在 Spark 集群上运行。
教学资源
评估与反馈
- 实验报告与代码提交
- 课堂表现与参与情况
- 课后反馈问卷
通过本课程，学生将掌握如何在 Spark 环境下使用 Horovod 进行高效的分布式深度学习训练，理解如何配置和优化集群环境以满足深度学习任务的需求，并能够在实际项目中应用这些技能。