sftp 加载大文件报错

发布于:2022-12-07 ⋅ 阅读:(308) ⋅ 点赞:(0)
问题现象
使用 sftp 加载大文件报错,加载小文件正常。
原因分析
当集群并发加载任务数和单任务加载线程数较大时,会出现 sftp 文件加载失败的情
况。
解决方法
确定是参数 gcluster_loader_max_data_processors 设置太大造成,将参数调小后无报
错。
说明 GBase 8a MPP Cluster FAQ FAQ
文档版本(2021-04-02) 南大通用数据技术股份有限公司
99
建议使用 sftp 加载的方式, sshd 的配置文件需要调整 maxstartup maxsession 等参数。
tmp 目录权限改变导致加载失败
问题现象
安全扫描,将操作系统 tmp 目录的权限修改为 750 ,造成集群加载失败,修复为 777
后恢复正常。
解决方法
调整数据库参数 tmpdir ,将指定 /tmp 路径的,修改为 gbase 系统用户路径,如
/home/gbase/tmp
# gccli -e"show variables like '%tmp%'"
+--------------------------------------+----------+
| Variable_name | Value |
+--------------------------------------+----------+
| _t_gcluster_reuse_tmp_table_optimize | 0 |
| max_tmp_tables | 32 |
| slave_load_tmpdir | /tmp |
| tmp_table_size | 16777216 |
| tmpdir | /tmp |
+--------------------------------------+----------+
# gncli -e"show variables like '%tmp%'"
+-------------------+----------+
| Variable_name | Value |
+-------------------+----------+
| max_tmp_tables | 32 |
| slave_load_tmpdir | /tmp |
| tmp_table_size | 16777216 |
| tmpdir | /tmp |
+-------------------+----------+

网站公告

今日签到

点亮在社区的每一天
去签到