elasticdump备份恢复

elasticdump 备份恢复

1.备份索引数据

示例：elasticdump --input=http://用户名:密码@192.158.134.7:9200/sg-access-2023.02.01 --output=/data/logbackup/Elasticsearch/2023-02/sg-access-2023.02.01.json --limit=10000 --type=data

2.恢复索引数据

示例：elasticdump --input="/data/logbackup/Elasticsearch/2023-02/sg-access-2023.02.01.json" --output="http://用户名:密码@192.158.134.7:9200/sg-access-2023.02.01" --limit=10000 --type=data

3.删除索引数据，多个数据用逗号分开

delete sg-access-2024.06.18,sg-access-2024.06.19

4.循环备份脚本（按照索引，循环备份1个月或多个月）

！！！根据自己的实际运行环境修改以下脚本的变量参数！！！
！！！根据自己的实际运行环境修改以下脚本的变量参数！！！
！！！根据自己的实际运行环境修改以下脚本的变量参数！！！

#!/bin/bash

# 设置elasticdump的路径（确保elasticdump已安装并配置在PATH中，或者提供完整路径）
ELASTICDUMP="/usr/local/node-v12.22.12-linux-x64/bin/elasticdump"

# 设置Elasticsearch的URL
ELASTICSEARCH_URL="http://用户名:密码@192.158.134.7:9200"

# 设置输出目录
OUTPUT_ROOT_DIR="/logbackup/Elasticsearch/2023-02"
mkdir -p $OUTPUT_ROOT_DIR

# 日期范围
START_DATE="2023.02.01"
END_DATE="2023.02.28"

# 将起始日期和结束日期转换为Unix时间戳（由于date命令通常不接受.作为分隔符，我们需要先转换为YYYY-MM-DD）
start_date_formatted=$(echo "$START_DATE" | sed 's/\./-/g')
end_date_formatted=$(echo "$END_DATE" | sed 's/\./-/g')
start_date_seconds=$(date -d "$start_date_formatted" +%s)
end_date_seconds=$(date -d "$end_date_formatted" +%s)

# 当前日期秒数（用于循环，初始化为起始日期的秒数）
current_date_seconds=$start_date_seconds

# 日志类型数组
LOG_TYPES=("sg-access" "sg-operation" "sg-login" "sg-rio-manage" "sg-rio-login")

while [ $current_date_seconds -le $end_date_seconds ]; do
  # 将当前日期秒数转换回人类可读的日期格式（YYYY-MM-DD），然后再转换为所需的格式（YYYY.MM.DD）
  current_date_formatted=$(date -d "@$current_date_seconds" "+%Y-%m-%d")
  current_date=$(echo "$current_date_formatted" | sed 's/-/\./g')
    
    # 循环遍历日志索引前缀
    for prefix in "${LOG_TYPES[@]}"; do
    
        # 构造完整的索引名称
        INDEX="${prefix}-${current_date}"
        OUTPUT_FILE="${OUTPUT_ROOT_DIR}/${INDEX}.json"
        
        echo "Exporting index $INDEX to $OUTPUT_FILE..."
        
        $ELASTICDUMP --input=$ELASTICSEARCH_URL/$INDEX --output=$OUTPUT_FILE --limit=10000 --type=data
        
        if [ $? -eq 0 ]; then
            echo "Exported $INDEX successfully."
        else
            echo "Failed to export $INDEX."
        fi
    done
    # 增加一天（86400秒）
    current_date_seconds=$((current_date_seconds + 86400))
done
 
echo "$START_DATE - $END_DATE all export successfully."

如果你有不明白的地方，或者更好的解决方法，欢迎提问