一、Apache Hop是什么？
1、Apache Hop，简称Hop，全称为Hop Orchestration Platform，即Hop 工作编排平台，是一个数据编排和数据工程平台，旨在促进数据和元数据编排的所有方面。Hop让你专注于你想要解决的问题，而不会被技术所阻碍。简单任务应该容易完成，复杂任务需要可能实现。
2、Hop允许数据专业人员使用元数据来描述数据应该如何被处理，从而进行可视化工作。可视化设计使数据开发者能够专注于他们想要做什么，而不是如何完成这项任务。这种对当前任务的关注使得Hop开发者比编写代码时更加高效。
二、Apache Hop起源与背景
1、Hop 最初（2019年底）是作为 Kettle（Pentaho Data Integration，PDI）的一个分支而启动的。Hop 是一个相对较新的项目，于 2020 年成为 Apache 软件基金会的顶级项目。它由 Kettle 的原始创建者 Tyler Mitchell 领导，旨在解决 PDI 中的一些限制，并提供更现代化的架构。
2、Kettle (PDI): Kettle 最初由 Pentaho 开发，是一个功能齐全的数据集成工具。Pentaho 后来被 Hitachi Vantara 收购，尽管如此，PDI 仍然是一个活跃的开源项目，拥有庞大的用户社区和丰富的插件生态系统。（不熟悉kettle的小伙伴可以查看kettle系列文章）
3、Hop和Kettle/PDI是独立的项目，各自有自己的路线图和优先级。鉴于这些不同的路线图、架构愿景和开发轨迹，Hop和Kettle/PDI是不兼容的。由于Hop与Kettle/PDI有着共同的历史，Hop社区提供了一种方法，尽可能无缝地将现有的PDI/Kettle项目导入Hop。
三、HOP VS KETTLE
1、核心概念
| Terminology（术语） | Kettle | Hop |
|---|---|---|
Parallel scalable data pipeline(并行可扩展数据管道) |
Transformation |
Pipeline |
An operation in a parallel pipeline(并行管道中的一个操作) |
Step |
Transform |
Sequential series of actions（一系列顺序的操作） |
Job |
Workflow |
An action in a workflow（工作流中的一个操作） |
Job Entry |
Action |
Shared metadata container（共享的元数据容器） |
Metastore |
Hop Metadata |
The graphical user interface（图形用户界面） |
Spoon |
Hop Gui |
Script to run data pipelines(运行数据管道的脚本) |
Pan |
Hop Run |
Script to run workflows（运行工作流的脚本） |
Kitchen |
Hop Run |
Server for remote execution（远程执行服务器） |
Carte |
Hop Server |
Script for configuration(配置脚本) |
- |
Hop Config |
2、配置
| Configuration（配置） | Kettle | Hop |
|---|---|---|
System variables（系统变量） |
${KETTLE_HOME}/.kettle/kettle.properties |
${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json |
GUI preferences (fonts, colors, preferences…) 图形用户界面偏好设置（字体、颜色、偏好…） |
${KETTLE_HOME}/.kettle/kettle.properties |
${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json |
Language choice（语言选择） |
${KETTLE_HOME}/.kettle/.languageChoice |
${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json |
Shared objects（共享对象） |
${KETTLE_HOME}/.kettle/shared.xml |
All stored in Hop shared metadata |
GUI usage information（图形用户界面使用信息） |
${KETTLE_HOME}/.kettle/kettle.properties |
${HOP_AUDIT_FOLDER}/<project>/ |
Shared metadata（共享元数据） |
${PENTAHO_METASTORE_FOLDER} or ${HOME}/.pentaho/metastore |
${HOP_METADATA_FOLDER} or ${HOP_CONFIG_FOLDER}/metadata |
Environment/Project configurations（环境/项目配置） |
${KETTLE_HOME}/.kettle/environment/metastore |
${HOP_CONFIG_FOLDER}/hop-config.json or ./config/hop-config.json |
3、引擎
| Engine | Kettle | Hop |
|---|---|---|
Unit Testing |
Plugin |
Yes |
Apache Spark Support |
No (PDI EE only) |
Yes (Beam) |
Apache Flink Support |
No |
Yes (Beam) |
Google Cloud DataFlow Support |
No |
Yes (Beam) |
4、特性
| Feature（特性） | Kettle | Hop |
|---|---|---|
Projects and Lifecycle Configuration（项目与生命周期配置） |
No |
Yes |
Search Information in projects and configurations （在项目和配置中搜索信息） |
No |
Yes |
Configuration management through UI and command line （通过界面和命令行进行配置管理） |
No |
Yes |
Standardized shared metadata（标准化共享元数据） |
No |
Yes |
Pluggable runtime engines（可插拔的运行时引擎） |
No |
Yes |
Advanced GUI features: memory, native zooom, … 高级 GUI 功能：内存、原生缩放…… |
No |
Yes |
Metadata Injection(元数据注入) |
Yes |
Yes (most transforms) |
Mapping (sub-transformation/pipeline(映射（子转换/管道) |
Yes |
Yes(simplified) |
Web Interface |
WebSpoon |
HopWeb |
APL 2.0 license compliance(APL 2.0 许可合规性) |
LGPL doubts regarding pentaho-metastore library |
Yes |
Pluggable metadata objects(可插拔的元数据对象) |
No |
Yes |
GUI plugin architecture(GUI 插件架构) |
XUL based (XML) |
Java annotations |
