数仓技术hive与oracle对比（一）

准备

包括软硬件环境、数据、测试数据三方面的准备内容。

环境

虚拟机软件virtualbox7，同样的虚拟机配置：内存2G、cpu一核，物理主机同一台macbookpro（13-2020款），所以硬盘IO读写速度一致。

综上：hive环境与oracle环境是同样的cpu、内存、硬盘、带宽配置。

数据

使用仓库、组织、物料、库存流水，进行响应测试，oracle使用dbeaver等将测试数据从外系统加载至测试环境，hive使用sqoop将测试数据从外系统加载至测试环境。

hive中，表名、列名是不区分大小写的，但库名区分大小写。oracle中，表名、列名、库名均不区分大小写。

测试数据的加载，按照oracle、hive的不同，分别采用不同的方式和工具进行处理。建表、导入数据并记录导入数据所消耗时间。

oracle加载数据统计表

备注：1、数据量超达到4万条，dbeaver客户端加载数据明显慢很多，受限于客户端工具（客户端工具是java所开，需要将sql文件在工具中打开），改为使用服务端加载。

2、ic_flow 无法使用sqlplus这种方式，因为其导出的insert批量文件，文件中的insert语句超过sqlplus最大输入范围，改为使用存储过程。

hive加载数据统计表

测试数据

hive使用hplsql循环导入T_OD_IC_FLOW_10百万行、T_OD_IC_FLOW_100千万行数据时，系统报错，java虚拟机崩溃。最后计划使用T_OD_IC_FLOW中数据向T_OD_IC_FLOW_10手动加载10次，完成T_OD_IC_FLOW_10的数据导入，也不成功，遂放弃。

最终测试数据表统计如下。