Elasticsearch & Kibana (一)-EW帮帮网

一、官方文档

elasticsearch官网：elasticsearch官网
elasticsearch源码：elasticsearch源码
ik分词器： ik分词器
ik分词器下载：ik分词器下载
elasticsearch 版本选择：elasticsearch 版本选择
官方推荐Elasticsearch和jdk对应关系：官方推荐Elasticsearch和jdk对应关系

在这里插入图片描述
系统当前版本：

注：如果系统配置 JAVA_HOME，那么使用系统默认的 JDK，如果没有配置使用自带的 JDK，一般建议使用系统配置的 JDK。系统目前使用的jdk版本是：11.0.16.1，elasticsearch-env文件中注明：环境中配置：ES_JAVA_HOME>JAVA_HOME>ES_HOME

二、数据初始化

因为数据量不大，所以初始化方式比较直接，若是数据量大的时候，考虑使用第三方
**Q1：**初始化索引，大数据量时：单条数据操作存储至索引，报错，错误日志如下：org.springframework.dao.DataAccessResourceFailureException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE]; nested exception is java.lang.RuntimeException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE] at org.springframework.data.elasticsearch.core.ElasticsearchExceptionTranslator.translateExceptionIfPossible(ElasticsearchExceptionTranslator.java:94)

**W1：**当Elasticsearch需要在每次保存后刷新时，持续保存操作，使其无响应。
官方解释链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/indices-refresh.html
文档提示刷新占用大量资源：在这里插入图片描述
问题代码：
每个数据组装后，保存文档，并刷新索引
效果：45w企业数据：2个多小时初始化完成

方案一：
批量写入，减少线程频繁切换，单次批处理数据写入后刷新一次，减少了刷新频率
目前单次批处理数据为1000条，此数量可以再优化，数据条数一般是根据文档的大小和服务器性能而定的，但是单次批处理的数据逐渐增加，当性能没有提升时，把这个数据量作为最大值。
效果：45w企业数据：40分钟初始化完成
方案二：
关闭刷新（Disable Refresh）是一种可以提高大量写入操作性能的操作。关闭刷新将临时禁止 Elasticsearch 自动刷新索引的操作，从而减少了写入操作时的磁盘IO和刷新操作带来的性能开销。当需要大量写入数据时，关闭刷新可以显著提升索引的写入性能。
GET 索引名称
在这里插入图片描述
默认刷新时间为1s
设置为不自动刷新，但是缓冲区满的时候也会触发refresh操作（例：企业数据达到42万条左右会自动触发刷新）：

PUT /索引名称/_settings
{
"refresh_interval": -1
}

刷新指定index的数据：

POST /索引名称/_refresh

效果：45w企业数据：33分钟初始化完成
在这里插入图片描述
等数据初始化完成后，最后可以通过设置刷新时间的方式重新设置一个合适的刷新时间

三、快照、还原

在Elasticsearch中，快照备份是一种将索引和集群的状态数据保存到可恢复的快照中的机制。通过创建快照，你可以在需要时恢复数据，或在不同的集群之间迁移数据。

方案一：
官网API方式：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore-apis.html

第一步：
两个单节点环境均在elasticsearch.yml中设置备份路径，路径自定义，两个环境可不同备份路径
环境A：path.repo: /backups/elasticsearch1   
环境B: path.repo: /backups/elasticsearch2 
配置后启动环境A

第二步：
在环境A对应的kibana中执行：
测试：
初始化：PUT company_index
POST company_index/_doc/1
{  "name":"小米手机"
}
GET company_index/_doc/1


（1）创建快照存储库
PUT /_snapshot/companyku
{
  "type": "fs",
  "settings": {
    "location": "/backups/elasticsearch1"
  }
}
(2)创建快照
PUT /_snapshot/companyku/snapshot_20230717?wait_for_completion=true
{
"indices": "company_index"
}

第三步：
把环境A的/backups/elasticsearch1路径下生成的文件内容。直接拷贝到环境B的/backups/elasticsearch2路径下,启动环境B的节点Es
在环境B对应的kibana中执行：
（1）创建快照存储库
PUT /_snapshot/companyku
{
  "type": "fs",
  "settings": {
    "location": "/data/backups/elasticsearch2"
  }
}
（2）还原数据
POST /_snapshot/companyku/snapshot_20230717/_restore
{
    "indices": "company_index"
}

注意：若提示索引已存在，则删除当前已有的索引：DELETE company_index

方案二、Kibana
本地启动kibana，打开网址：http://localhost:5601/app/management/data/snapshot_restore/repositories
Stack Management->Snapshot and Restore
elasticsearch.yml配置：path.repo: /backups/elasticsearch1

Repositories注册存储库
Policies设置定时任务,最高频：15分钟
Snapshot定时任务触发或者手动触发任务，生成快照，在/backups/elasticsearch1路径下
新建一个节点，配置repo，将生成的快照复制到该路径下，启动节点，注册同名存储库，自动出现快照数据，点击恢复，选择对应的索引，即可恢复。
定时任务配置备份频率

四、IK分词

目前英文是按单词分词，假设有需要新增分词词语：英文字母分词
ik分词器是把ik下载后放置在下载的es的plugins目录下，
ik增加新的分词：elasticsearch-7.17.6\plugins\ik\config
config下增加新文件：wyd_ik.dic（名称自定义）
wyd_ik.dic文件内容：

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z

一行就是一个词
在这里插入图片描述
重新启动es。

在这里插入图片描述
看到启动日志打印加载成功
查看效果：

GET _analyze
{
  "analyzer": "ik_max_word",
  "text": ["WYD", "国企", "1"]
}

在这里插入图片描述

五、删除索引的已有字段

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/docs-reindex.html

PUT m1
{

    "mappings" : {
      "properties" : {
        "_class" : {
          "type" : "keyword",
          "index" : false,
          "doc_values" : false
        },
        "age" : {
          "type" : "integer"
        },
        "id" : {
          "type" : "integer"
        },
        "name" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        }
      }
    },
    "settings" : {
      "index" : {
        "refresh_interval" : "1s",
        "store" : {
          "type" : "fs"
        }
      }
    }
}

POST m1/_doc
{  "id":1, 
 "age":2,  
"name":"小花"
}

POST  /m1/_update_by_query
{
    "script": {
        "lang": "painless",
        "inline": "ctx._source.remove(\"age\")"
    },
    "query": {
        "match_all": {}
    }
}

GET m1/_search

PUT m2
{

    "mappings" : {
      "properties" : {
        "_class" : {
          "type" : "keyword",
          "index" : false,
          "doc_values" : false
        },
        "id" : {
          "type" : "integer"
        },
        "name" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        }
      }
    },
    "settings" : {
      "index" : {
        "refresh_interval" : "1s",
        "store" : {
          "type" : "fs"
        }
      }
    }
}


POST _reindex
{
  "source": {
    "index": "m1"
  },
  "dest": {
    "index": "m2"
  }
}

GET m2/_search

六、代码示例

写了关于elasticsearch常用的方法示例，分组查询、分页查询、高亮查询、新增、修改、删除、地理位置查询等方式
代码示例：https://gitee.com/wyd-mayun/elasticsearch.git
注：
删除大数据量的索引，需要等待一下，若删除后，立即创建同名的索引，无法创建最新的索引，很可能是之前旧的索引结构

Elasticsearch & Kibana (一)

一、官方文档

二、数据初始化

三、快照、还原

四、IK分词

五、删除索引的已有字段

六、代码示例

网站公告

今日签到

热门文章

最新发布

Elasticsearch & Kibana (一)

一、官方文档

二、数据初始化

三、快照、还原

四、IK分词

五、 删除索引的已有字段

六、代码示例

网站公告

今日签到

热门文章

最新发布

五、删除索引的已有字段