還不會Elasticsearch？看這些知識入門剛剛好

作者：MacroZheng 鏈接：https://juejin.im/post/5e8c7d65518825736512d097

記得剛接觸Elasticsearch的時候，沒找啥資料，直接看了遍Elasticsearch的中文官方文檔，中文文檔很久沒更新了，一直都是2.3的版本。最近又重新看了遍6.0的官方文檔，由於官方文檔介紹的內容比較多，每次看都很費力，所以這次整理了其中最常用部分，寫下了這篇入門教程，希望對大家有所幫助。

簡介

Elasticsearch是一個基於Lucene的搜索服務器。它提供了一個分佈式的全文搜索引擎，基於restful web接口。Elasticsearch是用Java語言開發的，基於Apache協議的開源項目，是目前最受歡迎的企業搜索引擎。Elasticsearch廣泛運用於雲計算中，能夠達到實時搜索，具有穩定，可靠，快速的特點。

安裝

Windows下的安裝

Elasticsearch

• 下載Elasticsearch 6.2.2的zip包，並解壓到指定目錄，下載地址：www.elastic.co/cn/download…

• 安裝中文分詞插件，在elasticsearch-6.2.2\\bin目錄下執行以下命令；

<code>elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.2.2/elasticsearch-analysis-ik-6.2.2.zip
複製代碼/<code>

• 運行bin目錄下的elasticsearch.bat啟動Elasticsearch；

Kibana

• 下載Kibana,作為訪問Elasticsearch的客戶端，請下載6.2.2版本的zip包，並解壓到指定目錄，下載地址：artifacts.elastic.co/downloads/k…

• 運行bin目錄下的kibana.bat，啟動Kibana的用戶界面

• 訪問http://localhost:5601 即可打開Kibana的用戶界面：

Linux下的安裝

Elasticsearch

• 下載elasticsearch 6.4.0的docker鏡像；

<code>docker pull elasticsearch:6.4.0/<code>

• 修改虛擬內存區域大小，否則會因為過小而無法啟動；

<code>sysctl -w vm.max_map_count=262144/<code>

• 使用docker命令啟動；

<code>docker run -p 9200:9200 -p 9300:9300 --name elasticsearch \\
-e "discovery.type=single-node" \\
-e "cluster.name=elasticsearch" \\
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins \\
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data \\
-d elasticsearch:6.4.0/<code>

• 啟動時會發現/usr/share/elasticsearch/data目錄沒有訪問權限，只需要修改該目錄的權限，再重新啟動即可；

<code>chmod 777 /mydata/elasticsearch/data//<code>

• 安裝中文分詞器IKAnalyzer，並重新啟動；

<code>docker exec -it elasticsearch /bin/bash
#此命令需要在容器中運行 

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.0/elasticsearch-analysis-ik-6.4.0.zip
docker restart elasticsearch/<code>

• 訪問會返回版本信息：http://192.168.3.101:9200/

Kibina

• 下載kibana 6.4.0的docker鏡像；

<code>docker pull kibana:6.4.0/<code>

• 使用docker命令啟動；

<code>docker run --name kibana -p 5601:5601 \\
--link elasticsearch:es \\
-e "elasticsearch.hosts=http://es:9200" \\
-d kibana:6.4.0/<code>

• 訪問地址進行測試：http://192.168.3.101:5601

相關概念

• Near Realtime（近實時）：Elasticsearch是一個近乎實時的搜索平臺，這意味著從索引文檔到可搜索文檔之間只有一個輕微的延遲(通常是一秒鐘)。
• Cluster（集群）：群集是一個或多個節點的集合，它們一起保存整個數據，並提供跨所有節點的聯合索引和搜索功能。每個群集都有自己的唯一群集名稱，節點通過名稱加入群集。
• Node（節點）：節點是指屬於集群的單個Elasticsearch實例，存儲數據並參與集群的索引和搜索功能。可以將節點配置為按集群名稱加入特定集群，默認情況下，每個節點都設置為加入一個名為elasticsearch的群集。
• Index（索引）：索引是一些具有相似特徵的文檔集合，類似於MySql中數據庫的概念。
• Type（類型）：類型是索引的邏輯類別分區，通常，為具有一組公共字段的文檔類型，類似MySql中表的概念。注意：在Elasticsearch 6.0.0及更高的版本中，一個索引只能包含一個類型。
• Document（文檔）：文檔是可被索引的基本信息單位，以JSON形式表示，類似於MySql中行記錄的概念。
• Shards（分片）：當索引存儲大量數據時，可能會超出單個節點的硬件限制，為了解決這個問題，Elasticsearch提供了將索引細分為分片的概念。分片機制賦予了索引水平擴容的能力、並允許跨分片分發和並行化操作，從而提高性能和吞吐量。
• Replicas（副本）：在可能出現故障的網絡環境中，需要有一個故障切換機制，Elasticsearch提供了將索引的分片複製為一個或多個副本的功能，副本在某些節點失效的情況下提供高可用性。

集群狀態查看

• 查看集群健康狀態；

<code>GET /_cat/health?v/<code>

<code>epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1585552862 15:21:02  elasticsearch yellow          1         1     27  27    0    0       25             0                  -                 51.9/<code>

• 查看節點狀態；

<code>GET /_cat/nodes?v/<code>

<code>ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           23          94  28                          mdi       *      KFFjkpV/<code>

• 查看所有索引信息；

<code>GET /_cat/indices?v/<code>

<code>health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb/<code>

索引操作

• 創建索引並查看；

<code>PUT /customer
GET /_cat/indices?v/<code>

<code>health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   customer 9uPjf94gSq-SJS6eOuJrHQ   5   1          0            0       460b           460b
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb/<code>

• 刪除索引並查看；

<code>DELETE /customer
GET /_cat/indices?v/<code>

<code>health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   pms      xlU0BjEoTrujDgeL6ENMPw   1   0         41            0     30.5kb         30.5kb
green  open   .kibana  ljKQtJdwT9CnLrxbujdfWg   1   0          2            1     10.7kb         10.7kb/<code>

類型操作

• 查看文檔的類型；

<code>GET /bank/account/_mapping/<code>

<code>{
  "bank": {
    "mappings": {
      "account": {
        "properties": {
          "account_number": {
            "type": "long"
          },
          "address": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "age": {
            "type": "long"
          }, 

          "balance": {
            "type": "long"
          },
          "city": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "email": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "employer": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "firstname": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "gender": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "lastname": {
            "type": "text", 

            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "state": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}/<code>

文檔操作

• 在索引中添加文檔；

<code>PUT /customer/doc/1
{
  "name": "John Doe"
}/<code>

<code>{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 1
}/<code>

• 查看索引中的文檔；

<code>GET /customer/doc/1/<code>

<code>{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 2,
  "found": true,
  "_source": {
    "name": "John Doe"
  }
}/<code>

• 修改索引中的文檔：

<code>POST /customer/doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}/<code>

<code>{
  "_index": "customer",
  "_type": "doc",
  "_id": "1",
  "_version": 2,
  "result": "updated",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 4,
  "_primary_term": 1
}/<code>

• 刪除索引中的文檔；

<code>DELETE /customer/doc/1/<code>

<code>{
  "_index": "customer", 

  "_type": "doc",
  "_id": "1",
  "_version": 3,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 2,
  "_primary_term": 1
/<code>

• 對索引中的文檔執行批量操作；

<code>POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }/<code>

<code>{
  "took": 45,
  "errors": false,
  "items": [
    {
      "index": {
        "_index": "customer",
        "_type": "doc",
        "_id": "1",
        "_version": 3,
        "result": "updated",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 5,
        "_primary_term": 1,
        "status": 200
      }
    },
    {
      "index": {
        "_index": "customer",
        "_type": "doc",
        "_id": "2", 

        "_version": 1,
        "result": "created",
        "_shards": {
          "total": 2,
          "successful": 1,
          "failed": 0
        },
        "_seq_no": 0,
        "_primary_term": 1,
        "status": 201
      }
    }
  ]
}/<code>

數據搜索

查詢表達式(Query DSL)是一種非常靈活又富有表現力的查詢語言，Elasticsearch使用它可以以簡單的JSON接口來實現豐富的搜索功能，下面的搜索操作都將使用它。

數據準備

• 首先我們需要導入一定量的數據用於搜索，使用的是銀行賬戶表的例子，數據結構如下：

<code>{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "[email protected]",
    "city": "Hobucken",
    "state": "CO"
}/<code>

• 我們先複製下需要導入的數據，數據地址： github.com/macrozheng/…
• 然後直接使用批量操作來導入數據，注意本文所有操作都在Kibana的Dev Tools中進行；

<code>POST /bank/account/_bulk
{
  "index": {
    "_id": "1"
  }
}
{
  "account_number": 1,
  "balance": 39225,
  "firstname": "Amber",
  "lastname": "Duke",
  "age": 32,
  "gender": "M",
  "address": "880 Holmes Lane",
  "employer": "Pyrami",
  "email": "[email protected]",
  "city": "Brogan",
  "state": "IL"
}
......省略若干條數據/<code>

• 導入完成後查看索引信息，可以發現bank索引中已經創建了1000條文檔。

<code>GET /_cat/indices?v
/<code>

<code>health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   bank     HFjxDLNLRA-NATPKUQgjBw   5   1       1000            0    474.6kb        474.6kb/<code>

搜索入門

• 最簡單的搜索，使用match_all來表示，例如搜索全部；

<code>GET /bank/_search
{
  "query": { "match_all": {} }
}/<code>

• 分頁搜索，from表示偏移量，從0開始，size表示每頁顯示的數量；

<code>GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}/<code>

• 搜索排序，使用sort表示，例如按balance字段降序排列；

<code>GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}/<code>

• 搜索並返回指定字段內容，使用_source表示，例如只返回account_number和balance兩個字段內容：

<code>GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}/<code>

條件搜索

• 條件搜索，使用match表示匹配條件，例如搜索出account_number為20的文檔：

<code>GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}/<code>

• 文本類型字段的條件搜索，例如搜索address字段中包含mill的文檔，對比上一條搜索可以發現，對於數值類型match操作使用的是精確匹配，對於文本類型使用的是模糊匹配；

<code>GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}/<code>

• 短語匹配搜索，使用match_phrase表示，例如搜索address字段中同時包含mill和lane的文檔：

<code>GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}/<code>

組合搜索

• 組合搜索，使用bool來進行組合，must表示同時滿足，例如搜索address字段中同時包含mill和lane的文檔；

<code>GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
/<code>

• 組合搜索，should表示滿足其中任意一個，搜索address字段中包含mill或者lane的文檔；

<code>GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
/<code>

• 組合搜索，must_not表示同時不滿足，例如搜索address字段中不包含mill且不包含lane的文檔；

<code>GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
/<code>

• 組合搜索，組合must和must_not，例如搜索age字段等於40且state字段不包含ID的文檔；

<code>GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}
/<code>

過濾搜索

• 搜索過濾，使用filter來表示，例如過濾出balance字段在20000~30000的文檔；

<code>GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}
/<code>

搜索聚合

• 對搜索結果進行聚合，使用aggs來表示，類似於MySql中的group by，例如對state字段進行聚合，統計出相同state的文檔數量；

<code>GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}
/<code>

• 嵌套聚合，例如對state字段進行聚合，統計出相同state的文檔數量，再統計出balance的平均值；

<code>GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}
/<code>

• 對聚合搜索的結果進行排序，例如按balance的平均值降序排列；

<code>GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}/<code>

• 按字段值的範圍進行分段聚合，例如分段範圍為age字段的[20,30] [30,40] [40,50]，之後按gender統計文檔個數和balance的平均值；

<code>GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    } 

  }
}/<code>

感悟

從正式成為一名程序員的那天起，註定要進行沒有止境的學習，想要進階高級或者專家，就要堅持每天都高效的學習，不要給自己的懶惰找藉口，“什麼我也想學習可是又沒有資源”，這次我給你整理好了，我看你還有啥理由！私信回覆【666】送你

閱讀更多 程序員內點事 的文章

關鍵字: Bash Docker