在.net core中進行中文分詞方法

一. elasticsearch on windows

　　1.下載地址：

　　　　
https://www.elastic.co/cn/downloads/elasticsearch

　　　　如果瀏覽器下載文件慢，建議使用迅雷下載，速度很快。下載版本為7.5.2

　　2. 修改配置文件

　　　　下載後解壓，找到config\jvm.options，分配JVM堆內存大小，原則上是分配總內存的50%給 elasticsearch，但不要超過30.5GB，原因是64位尋址會導致性能下降。將默認1g改成512m, 個人電腦當默認1g時，windows安裝會出現：
HeapDumpOnOutOfMemoryError

　　　　

　3. windows安裝

　　　　　打開cmd執行以下命令

　　　　　E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install

　4.啟動服務

　　　　由於elasticsearch比較耗內存，默認安裝服務設置啟動方式為手動，除非真的使用windwos作為服務器， 手動啟動服務後，瀏覽器查看：http://localhost:9200/，出現以下代表成功

　　　　　

　　　　name：為集群中的節點名稱，默認值為當前機器名稱。

　　　　cluster_name:集群的名稱，默認為elasticsearch。

　　　 查看健康狀態：
http://localhost:9200/_cat/health?v

　　　　查看所有索引：
http://localhost:9200/_cat/indices?v

　　5. 其它配置

　　　　elasticsearch.yml文件

　　　　　　transport.port :節點與節點通信的端口，默認為9300

　　　　　　http.port:elasticsearch 開放的Rest接口的端口，默認為9200

　　　　　　network.host 默認為192.168.0.1，要設置為0.0.0.0,綁定所有本地地址，或者直接設置一個可供外網訪問的地址

二. Kibana on windows

　　1.下載地址

　　　　
https://www.elastic.co/cn/downloads/kibana

　　　　如果瀏覽器下載文件慢，建議使用迅雷下載，速度很快。下載版本為7.5.2　

　　2.修改配置文件

　　　　在config\kibana.yml文件中，默認連接elasticsearch地址是：elasticsearch.hosts: ["http://localhost:9200"]， 如果elasticsearch和kibana都在同一臺機器，則不需要修改。

　　3. 啟動

　　　　Kibana不同於Elasticsearch，Kibana官方並沒有提供安裝為系統服務的方法。在bin目錄下雙擊kibana.bat文件。暫用控制檯作為宿主。在瀏覽器運行http://localhost:5601/

　　　　首頁右下角單擊，左邊的導航欄會展開，如下所示：

　　　　

　　　　可以將sample flight data 飛行記錄數據和sample web logs web日誌記錄，這二個樣例數據導入，方便學習。

　　　　在左邊的導航欄Dev Tools 中，可以調用 elasticsearch api 來進行操作，如下所示：

　　4.kibana其它配置

　　　　4.1 kibana.yml修改為中文

　　　　　　#i18n.locale: "en"　　　　　　 i18n.locale: "zh-CN"

三.分析器安裝

　　IK 是中文分析器中比較有名的，分詞包括兩種: ik_smart和ik_max_word。二種區別在於提取詞項的粒度，前者提取的粒度最粗，後者最細。elsaticsearch默認並不支持ik,需要安裝。版本與elsaticsearch保持一致，這裡下載v7.5.2。下載 地址：
https://github.com/medcl/elasticsearch-analysis-ik/releases
elasticsearch-analysis-ik-7.5.2.zip

　　在plugins下，新建一個ik文件夾，解壓放入，重啟ES，如下所示：

　　(打開kibana的Dev Tools測試)IK中文分析器測試，ik_max_word測試如下：

　　 IK中文分析器測試，ik_smart測試如下：

四.IK擴展詞典

　　3.1 本地配置自定義詞典

　　　　 如下圖，先建一個txt文件，文本格式為 UTF8 編碼，重命名為mydict.dic文件，添加自定義詞典

　　　　將dic新文件路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<code> 
  
SYSTEM
  
"http://java.sun.com/dtd/properties.dtd"
>
<
properties
>

    
<
comment
>
IK Analyzer 擴展配置
comment
>

     
    
<
entry
 
key
=
"ext_dict"
>
custom/mydict.dic
entry
>

      
    
<
entry
 
key
=
"ext_stopwords"
>
entry
>

     
     
     
     
properties
>
/<code>

　　　　置後，重啟es服務，再使用分詞器測試如下所示：

　　　　

五.IK熱更新詞庫

　　 官方給出建議：可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 文件裡，放在 nginx 或其他簡易 http server 下，當 .txt 文件修改時，http server 會在客戶端請求該文件時自動返回相應的 Last-Modified 和 ETag。可以另外做一個工具來從業務系統提取相關詞彙，並更新這個 .txt 文件。

　　 下面使用iis作為http服務器，新建一個站點，站點下有一個hotword.txt 文件，應用池託管為v 4.0經典模式。去掉壓縮不然lk程序監視器讀取不到。 再就是設置http響應頭，因為該 http 請求需要返回兩個頭部(header)，一個是 Last-Modified，一個是 ETag，這兩者都是字符串類型，只要有一個發生變化，該插件就會去抓取新的分詞進而更新詞庫。配圖如下所示：

　　將服務器txt文件路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<code> 
  
SYSTEM
 
"http://java.sun.com/dtd/properties.dtd"
>
<
properties
>

    
<
comment
> 
IK Analyzer 擴展配置
comment
>

     
     
      
   
     
     
<
entry
 
key
=
"remote_ext_dict"
>
http://localhost:8088/hotword.txt
entry
>
 
     
   
properties
>
/<code>

　　hotword.txt配置如下所示：

　　　 重啟es服務器，在Log/elasticsearch.log中可以看到加載的詞列表，如下所示：

<code>[
2020-02-18T10:46:47,129
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml
[
2020-02-18T10:46:47,206
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt
[
2020-02-18T10:46:47,213
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] 新冠
[
2020-02-18T10:46:47,213
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] 新冠肺炎
[
2020-02-18T10:46:47,213
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] 盛吉芳
[
2020-02-18T10:46:47,213
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] 首提
[
2020-02-18T10:46:47,214
][
INFO 
][ 
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] 哈哈
[
2020-02-18T10:46:47,214
][
INFO 
][
o.w.a.d.Monitor          
] [DESKTOP-D49T1S2] reload ik dict finished./<code>

　　　測試分詞，如下所示：