查看原文
其他

Elasticsearch解决问题之道——请亮出你的DSL!

zhisheng 2021-09-05

The following article is from 铭毅天下 Author 铭毅天下

0、引言

在业务开发中,我们往往会陷入开发的细枝末节之中,而忽略了事物的本源。
经常有同学问到:
  • 1, 业务代码实现结果和kibana验证不一致。
    比如:我的python或者java程序检索结果怎么和kibana里面不一致?
  • 2, 我的某个关键词明明匹配,但怎么检索不到?
    比如:星球群讨论的“三星”ik_max_word + match_phrase匹配问题。
  • 3, 熟悉sql,但转dsl就不会写了。
    比如:做聚合搜索的话,select * from user where usrid >5  group by userid having count(userid) >3  这个功能能在一个dsl实现吗 ?
  • 4, 查询慢,但不知道什么原因导致的。
    比如:elasticsearch有8亿数据查询慢是怎么回事,有什么办法优化。
等等等等…..
以上的看似复杂的问题,如果转换成DSL,清楚的写出来,梳理清楚问题的来龙去脉,问题就自然解决了一大半。
所以,请亮出你的dsl,不论什么语言的检索,转换到es查询都是sql查询,在es中对应dsl语法,es再拆解比如:分词match_phrase拆解成各term组合,最终传给lucene处理。
亮出你的dsl,确保编程里的实现和你的kibana或者head插件一致是非常重要、很容易被忽视的工作。
如果对dsl拆解不理解,那就再加上profile:true或者explain:true拆解结果一目了然。

1、啥是Elasticsearch DSL?

维基百科定义:领域特定语言(英语:domain-specific language、DSL)指的是专注于某个应用程序领域的计算机语言。又译作领域专用语言。
Elasticsearch提供基于JSON的完整查询DSL来定义查询。 将Query DSL视为查询的AST(抽象语法树),由两种类型的子句组成:
1、叶子查询子句
叶查询子句查找特定字段中的特定值,例如匹配,术语或范围查询。 这些查询可以单独使用。
2、复合查询子句
复合查询子句可以组合其他叶子或复合查询,用于以逻辑方式组合多个查询(例如bool或dis_max查询),或更改其行为(例如constant_score查询)。
给个例子,一看就明白。
1GET "localhost:9200/_search
2{
3  "query": { 
4    "bool": { 
5      "must": [
6        { "match": { "title":   "Search"        }}, 
7        { "match": { "content": "Elasticsearch" }}  
8      ],
9      "filter": [ 
10        { "term":  { "status": "published" }}, 
11        { "range": { "publish_date": { "gte": "2015-01-01" }}} 
12      ]
13    }
14  }
15}
16

看到这里,可能会有人着急了:“我X,这不是官网定义吗?再写一遍有意思吗?
引用一句鸡汤话,“再显而易见的道理,在中国,至少有一亿人不知道”。同样的,再显而易见的问题,在Elasticsearch技术社区也会有N多人提问。
基础认知不怕重复,可怕的是对基础的专研、打磨、夯实

2、DSL的全局认知

Elasticsearch相关的核心操作,广义上可做如下解读,不一定涵盖全,仅抛砖引玉,说明DSL的重要性。
从大到小。

2.1 维度1:集群的管理。

集群的管理,一般我们会使用Kibana或者第三方工具Head插件、cerebro工具、elastic-hq工具。
基本上硬件的(磁盘、cpu、内存)使用率、集群的健康状态都能一目了然。
但基础的DSL会更便捷,便于细粒度分析问题。
如:集群状态查询:
1GET /_cluster/stats?human&pretty
如:节点热点线程查看:
1GET /_nodes/hot_threads
如:集群分片分配情况查看:
1GET /_cluster/allocation/explain

2.2 维度2:索引的生命周期管理。

索引生命周期是一直强调的概念,主要指索引的“生、老、病、死”的全过程链条的管理。

2.2.1、生:创建索引。

创建索引我们优先使用较单纯index更灵活的template模板。
创建索引类似Mysql的创建表的操作,提前设计好表结构对应ES是提前设计好Mapping非常重要。
两个维度:
  • 1、血淋淋的教训:业务上精炼再精炼,一个索引搞定的绝不多表关联。
  • 2、提前设计好字段及扩展字段,即便ES支持动态添加字段。
  • 3、不使用动态映射,所有字段自己定义,节省存储空间。
    举例:
1PUT _template/template_1
2{
3  "index_patterns": ["te*", "bar*"],
4  "settings": {
5    "number_of_shards": 1
6  },
7  "mappings": {
8    "_doc": {
9      "_source": {
10        "enabled": false
11      },
12      "properties": {
13        "host_name": {
14          "type": "keyword"
15        }
16      }
17    }
18  }
19}
20'
21

2.2.2、老:滚动索引、关闭索引或者冻结索引。

举例:
1POST /my_index/_freeze
2POST /my_index/_unfreeze

2.2.3、病:索引出了问题。

如:索引清理缓存。
1POST /twitter/_cache/clear
如:某原因导致分片重新分配,_recovery查看分片分配状态。
1GET index1,index2/_recovery?human

2.2.4、死:删除索引。

1DELETE my_index
高版本的索引生命周期管理推荐使用:ILM功能。

2.3 维度3:数据的增删改查。

这个是大家再熟悉不过的了。

2.3.1 增

单条导入数据、批量bulk写入数据、第三方同步数据(本质也是批量)。
举例:
1POST _bulk
2{ "index" : { "_index" : "test", "_id" : "1" } }
3{ "field1" : "value1" }

2.3.2 删

删除数据包括:指定id删除 delete和批量删除delete_by_query(满足给定条件)。

2.3.3 改

更新操作。包括:指定id的update/upsert或者批量更新update_by_query。

2.3.4 查

这是ES的重头戏。包含但不限于:
1、支持精确匹配查询的:term、range、exists、wildcard、prefix、fuzzy等。
2、支持全文检索的:match、match_phrase、query_string、multi_match等

2.4 维度4:数据统计分析

1、Bucketing分桶聚合
举例:最常用的terms就类似Mysql group by功能。
2、Metric计算聚合
举例:类比Mysql中的: MIN(), MAX(), SUM() 操作。
3、Pipeline针对聚合结果聚合
举例:bucket_script实现类似Mysql的group by 后having的操作。

2.5  更多其他维度

留给大家结合业务场景思考添加。

3、实践干货

讲了那么多,实践中遇到问题咋办?
这里把开头提到的几个问题逐一解答一下。

3.1,业务代码实现结果和kibana验证不一致。

实际Mysql业务中,我们一般是先验证sql没有问题,再写业务代码。
实际ES业务中,也一样,先DSL确认没有问题,再写业务代码。
写完java或者python后,打印DSL,核对是否完全一致。
不一致的地方基本就是结果和预期不一致的原因所在。

3.2,我的某个关键词明明匹配,但怎么检索不到?

第一步:借助analyzer API分析查询语句和待查询document分词结果。
1GET my_index/_analyze 
2{
3  "field": "text",
4  "text": "华为鸿蒙系统发布-可随时替代安卓",
5  "analyzer":"ik_smart"
6}
这个API的重要性,再怎么强调都不为过。
第二步:可以借助profile:true查看细节。第三步:核对match_phrase词序的原理。

3.3,熟悉sql,但转dsl就不会写了。

6.3版本后已经支持sql,如果不会写,可以借助translate 如下API翻译一下。


不够精确,但足够参考用了,需要根据业务细节微调。
当然,还是建议,从业务出发,自己写DSL

3.4,查询慢,但不知道什么原因导致的。

从大往小,逐步细化排解
  • 思路1:索引层面。
    8亿条分散到多个索引、多个副本当中,还是一个索引?
  • 思路2:Mapping映射设计层面。
    举例,设计高效检索Number类型建议改成keyword。
    详细参考携程架构师的文章:number?keyword?傻傻分不清楚
  • 思路3:检索DSL优化层面
    注意:能使用filter过滤检索的就不要使用query,原理参考我之前梳理的文章:
    吃透 | Elasticsearch filter和query的不同 
  • 思路4:返回字段层面
    有没有检索的使用_source:""  限定返回的字段,
    如果没有,会全字段返回,数据量大的话,也会慢。
  • 思路5:DSL 调试
    调试方法:DSL执行语句中加上profile:true .
    或者借助:xpack可视化插件排查。
    这样,会打印出对应查询的细节花费时间,让你明明白白知道那里慢了。
  • 思路6:日志查询
    查询的时候,查询ES日志,看看有没有大量的gc。
    看看有没有错误日志,错误日志的处理就是优化的方向。
  • 思路7:借助cerebro或者xpack mointer监视集群状态
    看一看,集群堆内存、cpu、负载的使用情况。
  • 思路8:外部思维
    想一想,查询的时候,有没有并行的写入操作?
    那么查询的时候慢,是不是写入压力大队集群造成的影响。
  • 思路9:排除网络慢的原因
    内网查询还是外网映射查询,返回时间也不一样。
  • 思路10:其他问题
    结合业务场景进行分析,自己的业务代码逻辑的问题。
    一定要转成DSL进行最小化定位

4、小结

  • 实际业务中的问题远比上面复杂。但开发的过程中,很多时候,走的太久忘记了出发的目的是什么。
  • 本文仅起到抛砖引玉作用,更多复杂DSL、脚本、自定义评分等DSL没有涉及,不过原理一致。
  • 所以,遇到问题,切莫乱求医。亮出你的DSL,追根溯源、条分缕析逐步细化,问题会迎刃而解。
    一起加油,共勉!


END


关注我


公众号(zhisheng)里回复 面经、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章

Flink 实战

1、《从0到1学习Flink》—— Apache Flink 介绍
2、《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门
3、《从0到1学习Flink》—— Flink 配置文件详解
4、《从0到1学习Flink》—— Data Source 介绍
5、《从0到1学习Flink》—— 如何自定义 Data Source ?
6、《从0到1学习Flink》—— Data Sink 介绍
7、《从0到1学习Flink》—— 如何自定义 Data Sink ?
8、《从0到1学习Flink》—— Flink Data transformation(转换)
9、《从0到1学习Flink》—— 介绍 Flink 中的 Stream Windows
10、《从0到1学习Flink》—— Flink 中的几种 Time 详解
11、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 ElasticSearch
12、《从0到1学习Flink》—— Flink 项目如何运行?
13、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 Kafka
14、《从0到1学习Flink》—— Flink JobManager 高可用性配置
15、《从0到1学习Flink》—— Flink parallelism 和 Slot 介绍
16、《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
17、《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ
18、《从0到1学习Flink》—— 你上传的 jar 包藏到哪里去了
19、大数据“重磅炸弹”——实时计算框架 Flink
20、《Flink 源码解析》—— 源码编译运行
21、为什么说流处理即未来?
22、OPPO数据中台之基石:基于Flink SQL构建实数据仓库
23、流计算框架 Flink 与 Storm 的性能对比
24、Flink状态管理和容错机制介绍
25、原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
26、Apache Flink 是如何管理好内存的?
27、从0到1学习Flink》——Flink 中这样管理配置,你知道?
28、从0到1学习Flink》——Flink 不可以连续 Split(分流)?
29、Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文
30、360深度实践:Flink与Storm协议级对比
31、Apache Flink 1.9 重大特性提前解读
32、如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了
33、美团点评基于 Flink 的实时数仓建设实践
34、Flink 灵魂两百问,这谁顶得住?
35、一文搞懂 Flink 的 Exactly Once 和 At Least Once
36、你公司到底需不需要引入实时计算引擎?

Flink 源码解析



知识星球里面可以看到下面文章


让我“好看” 

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存