2. 程式人生 > >elasticsearch實戰三部曲之二：文件操作

elasticsearch實戰三部曲之二：文件操作

阿新 • • 發佈：2019-01-14

本文是《elasticsearch實戰三部曲》系列的第二篇，上一篇文章我們動手熟悉了索引相關的基本操作，現在一起來熟悉文件相關的操作；

系列文章連結

  1. 《elasticsearch實戰三部曲之一：索引操作》；
  2. 《elasticsearch實戰三部曲之二：文件操作》；
  3. 《elasticsearch實戰三部曲之三：搜尋操作》；

環境資訊

  1. 本次實戰用到的elasticsearch版本是6.5.4，安裝在Ubuntu 16.04.5 LTS，客戶端工具是postman6.6.1；
  2. 如果您需要搭建elasticsearch環境，請參考《Linux環境快速搭建elasticsearch6.5.4叢集和Head外掛》
    ；

基本情況介紹

本次實戰的elasticsearch環境以及搭建完畢，是由兩個機器搭建的叢集，並且elasticsearch-head也搭建完成：

  1. 一號機器，IP地址：192.168.119.152；
  2. 二號機器：IP地址：192.168.119.153；
  3. elasticsearch-head安裝在一號機器，訪問地址：http://192.168.119.152:9100
  4. 已經建立了索引test001；

資料格式說明

為了便於和讀者溝通，我們來約定一下如何在文章中表達請求和響應的資訊：

  1. 假設通過Postman工具向伺服器傳送一個PUT型別的請求，地址是：
    http://192.168.119.152:9200/test001/article/1
  2. 請求的內容是JSON格式的，內容如下：
{
	“id”:1,
	"title":"標題a",
	"posttime":"2019-01-12",
	"content":"一起來熟悉文件相關的操作"
}

對於上面的請求，我在文章中就以如下格式描述：

PUT test001/article/1

{
	“id”:1,
	"title":"標題a",
	"posttime":"2019-01-12",
	"content":"一起來熟悉文件相關的操作"
}

讀者您看到上述內容，就可以在postman中發起PUT請求，地址是"test001/article/1"前面加上您的伺服器地址，內容是上面的JSON；

新建文件

在索引test001下建立一個文件，型別是article，id為1：

PUT test001/article/1

{
	"id":1,
	"title":"標題a",
	"posttime":"2019-01-12",
	"star":100,
	"content":"一起來熟悉文件相關的操作"
}

收到返回碼201，body內容如下，可見version為1：

{
    "_index": "test001",
    "_type": "article",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "_seq_no": 2,
    "_primary_term": 3
}

查詢文件

根據id查詢剛剛建立的那一條文件：

GET test001/article/1

收到返回碼200，body內容如下，索引、型別、id、版本號等全部返回了：

{
    "_index": "test001",
    "_type": "article",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "id": 1,
        "title": "標題a",
        "posttime": "2019-01-12",
        "star": 100,
        "content": "一起來熟悉文件相關的操作"
    }
}

如果查詢的文件不存在，返回碼為400，返回內容如下：

{
    "_index": "test001",
    "_type": "article",
    "_id": "11",
    "found": false
}

檢查文件是否存在

HEAD test001/article/1

該請求的響應沒有body，只有返回碼，存在時返回200，不存在返回404

根據id一次獲取多個文件(_mget命令)

一次查詢三條記錄，id為1和2的記錄真實存在，id為999的記錄不存在，請求報文如下：

GET test001/_mget

{
	"docs":[
		{
			"_id":"1"
		},
		{
			"_id":"2"
		},
		{
			"_id":"999"
		}
	]
}

返回內容如下所示，可見id為999的記錄，found欄位為false，表示不存在：

{
    "docs": [
        {
            "_index": "test001",
            "_type": "article",
            "_id": "1",
            "_version": 1,
            "found": true,
            "_source": {
                "id": 1,
                "title": "標題a",
                "posttime": "2019-01-12",
                "star": 100,
                "content": "一起來熟悉文件相關的操作"
            }
        },
        {
            "_index": "test001",
            "_type": "article",
            "_id": "2",
            "_version": 1,
            "found": true,
            "_source": {
                "id": 2,
                "title": "標題b",
                "posttime": "2019-01-13",
                "star": 20,
                "content": "Ubuntu16安裝nodejs10"
            }
        },
        {
            "_index": "test001",
            "_type": null,
            "_id": "999",
            "found": false
        }
    ]
}

根據id一次獲取多個文件(元欄位_id)

除了使用_mget命令，還可以通過_search命令的方式，以元欄位"_id"作為搜尋條件，一次獲取多個文件：

GET test001/_search

{
	"query":{
		"terms":{"_id":["1", "2"]}
	}
}

返回碼200表示成功，body是搜尋結果：

{
    "took": 20,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 1,
        "hits": [
            {
                "_index": "test001",
                "_type": "article",
                "_id": "2",
                "_score": 1,
                "_source": {
                    "id": 2,
                    "title": "標題b",
                    "posttime": "2019-01-13",
                    "content": "elasticsearch實戰三部曲之二"
                }
            },
            {
                "_index": "test001",
                "_type": "article",
                "_id": "1",
                "_score": 1,
                "_source": {
                    "id": 1,
                    "title": "標題1",
                    "posttime": "2019-01-13",
                    "content": "Flink消費kafka訊息實戰"
                }
            }
        ]
    }
}

更新文件(doc方式)

對於id為1的文件，如果要更新其title欄位，請求報文如下，根節點名為"doc"，可以對指定欄位進行替換：

POST test001/article/1/_update

{
 "doc":{
 	"title":"abc"
 }
}

更新成功後，返回碼200，返回body：

{
    "_index": "test001",
    "_type": "article",
    "_id": "1",
    "_version": 4,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "_seq_no": 5,
    "_primary_term": 3
}

更新文件(指令碼方式)

還有一種更新文件的方式是提交一段elasticsearch支援的指令碼，如下所示，“lang”:"painless"表示指令碼語言型別為painless，params的內容就是入參，inline的值就是指令碼的內容，表示將star欄位的值增加100：

POST test001/article/1/_update

{
 "script":{
 	"inline":"ctx._source.star += params.star",
 	"lang":"painless",
 	"params":{
 		"star":100
 	}
 }
}

執行成功的返回碼200，報文：

{
    "_index": "test001",
    "_type": "article",
    "_id": "1",
    "_version": 6,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "_seq_no": 7,
    "_primary_term": 3
}

查詢更新

前面介紹的更新都是指定id的，有的時候我們需要用其他欄位查詢並更新，例如查詢title等於"abc"的記錄，將其content欄位更新為"123456"：

POST test001/_update_by_query

{
 "script":{
 	"inline":"ctx._source.content = '123456'",
 	"lang":"painless"
 },
 "query":{
 	"term":{"title":"abc"}
 }
}

收到返回碼200，body內容如下：

{
    "took": 48,
    "timed_out": false,
    "total": 1,
    "updated": 1,
    "deleted": 0,
    "batches": 1,
    "version_conflicts": 0,
    "noops": 0,
    "retries": {
        "bulk": 0,
        "search": 0
    },
    "throttled_millis": 0,
    "requests_per_second": -1,
    "throttled_until_millis": 0,
    "failures": []
}

刪除文件（指定ID）

DELETE test001/article/2

刪除成功返回碼200，body如下：

{
    "_index": "test001",
    "_type": "article",
    "_id": "2",
    "_version": 2,
    "result": "deleted",
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "_seq_no": 3,
    "_primary_term": 2
}

刪除文件（帶查詢條件）

如果想刪除title欄位等於"abc"的文件：

DELETE test001

{
 "query":{
 	"term":{"title":"abc"}
 }
}

刪除成功返回碼200，body如下：

{
    "acknowledged": true
}

同樣的操作再試一次，就會返回404錯誤，因為記錄已經不存在了；

批量操作

要新增多個文件，可以將內容寫入json檔案，再通過批量操作的介面，將資料一次性POST；

  1. 首先建立一個名為book.json的檔案，內容如下：
{"index":{ "_index": "books", "_type": "IT", "_id": "1" }}
{"id":"1","title":"Java程式設計思想","language":"java","author":"Bruce Eckel","price":70.20,"publish_time":"2007-10-01","description":"Java學習必讀經典,殿堂級著作！贏得了全球程式設計師的廣泛讚譽。"}
{"index":{ "_index": "books", "_type": "IT", "_id": "2" }}
{"id":"2","title":"Java程式效能優化","language":"java","author":"葛一鳴","price":46.50,"publish_time":"2012-08-01","description":"讓你的Java程式更快、更穩定。深入剖析軟體設計層面、程式碼層面、JVM虛擬機器層面的優化方法"}
{"index":{ "_index": "books", "_type": "IT", "_id": "3" }}
{"id":"3","title":"Python科學計算","language":"python","author":"張若愚","price":81.40,"publish_time":"2016-05-01","description":"零基礎學python,光碟中作者獨家整合開發winPython執行環境，涵蓋了Python各個擴充套件庫"}
{"index":{ "_index": "books", "_type": "IT", "_id": "4" }}
{"id":"4","title":"Python基礎教程","language":"python","author":"Helant","price":54.50,"publish_time":"2014-03-01","description":"經典的Python入門教程，層次鮮明，結構嚴謹，內容翔實"}
{"index":{ "_index": "books", "_type": "IT", "_id": "5" }}
{"id":"5","title":"JavaScript高階程式設計","language":"javascript","author":"Nicholas C. Zakas","price":66.40,"publish_time":"2012-10-01","description":"JavaScript技術經典名著"}

如上所示，第一行指定了索引、型別、id等基本資訊，第二行就是該記錄的各個欄位的內容；
2. 如果您的電腦可以使用curl命令，那麼在book.json檔案所在資料夾下面執行此命令即可提交：

curl -XPOST "http://192.168.119.152:9200/_bulk?pretty" -H 'Content-Type: application/json' --data-binary @books.json

  1. 如果您在使用postman軟體，請按下圖方式提交，請注意操作步驟遵循圖中的1到6的順序，url地址是：_bulk?pretty
    在這裡插入圖片描述

  2. 批量資料提交後，用head可見新增了一個索引，下面有5條記錄，如下圖：
    在這裡插入圖片描述

至此，和文件有關的基本操作實戰已經完成了，接下來的文章中，我們會進行搜尋相關的實戰；

注意：文中用到的book.json檔案，來自實體書《從Lucene到Elasticsearch全文檢索實戰》提供的線上下載原始碼包中的內容，感謝姚攀大師精心準備的用例和資料，如果您認為我文章中使用的資料有侵權行為，請及時告知我，我會第一時間刪除，我的郵箱:[email protected]

相關推薦

elasticsearch實戰三部曲之二：文件操作

本文是《elasticsearch實戰三部曲》系列的第二篇，上一篇文章我們動手熟悉了索引相關的基本操作，現在一起來熟悉文件相關的操作； 系列文章連結 《elasticsearch實戰三部曲之一：索引操作》； 《elasticsearch實戰三部曲之二：文件操作》；

如何對文件服務器進行精細化管理之二：文件屏蔽？

bfd .com col ref eat zhang 後綴 dde mis 如何對文件服務器進行精細化管理之二：文件屏蔽？ ?Lander Zhang 專註外企按需IT基礎架構運維服務，IT Helpdesk 實戰培訓踐行者http://blog.51cto.com/lan

elasticsearch實戰三部曲之三：搜尋操作

本文是《elasticsearch實戰三部曲》的終篇，作為elasticsearch的核心功能，搜尋的重要性不言而喻，今天的實戰都會圍繞搜尋展開； 系列文章連結 《elasticsearch實戰三部曲之一：索引操作》； 《elasticsearch實戰三部曲之二：文

CoProcessFunction實戰三部曲之二：狀態處理

### 歡迎訪問我的GitHub [https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) 內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等； ###

Python學習之路：文件操作

append 句柄 enc pre light logs utf highlight 追加內容 文件基本操作： 打開、讀取、追加、關閉 #data = open("yesterday",encoding="utf-8").read() #打開並讀取文件 f=open("y

Python學習之路：文件操作之增刪改查

打印 odin day 打開 aps 之前 編碼 數據 adl f = open("yesterday","r",encoding="utf-8") #print(f.read()) #for i in range(5): # print(f.readline())

python-13：文件操作 之二

文本模式 文件的 str 使用 復制代碼 區別 for offset with open 一、文件操作的常用方法： 1、read():從光標位置開始讀取整個文件剩下的內容，註意是從光標位置開始，不一定是讀取整個文件。 #第一次讀取： f=open(‘test.txt‘,

自定義spring boot starter三部曲之二：實戰開發

本文是《自定義spring boot starter三部曲》的第二篇，上一篇中我們通過學習spring cloud的starter，對spring boot的starter有了初步瞭解，也設計好了實戰內容，今天就來一起實現； 三部曲文章連結 《自定義spring boot

實戰maven私有倉庫三部曲之二：上傳到私有倉庫

在上一章《實戰maven私有倉庫三部曲之一：搭建和使用》我們搭建了maven私有倉庫，並體驗了私有倉庫快取jar包的能力，避免了局域網內開發人員去遠端中央倉庫下載的痛苦等待，本章我們再來體驗私有倉庫的另一個功能：儲存二方庫； 使用場景 mvndemos

測開之路二：文件讀寫

alt bsp http 文件讀寫 info 讀寫 技術分享 分享圖片 文件 open函數： 讀： 寫： 測開之路二：文件讀寫

Docker下實戰zabbix三部曲之二：監控其他機器

在上一章《Docker下實戰zabbix三部曲之一：極速體驗》中，我們快速安裝了zabbix server，並登入管理頁面查看了zabbix server所在機器的監控資訊，但是在實際場景中，應該是對應用伺服器做監控，所以今天我們來實戰將應用伺服器的監控加入到zabbix server中。 全系列文章連結：

Linux學習之三：文件夾系統的結構和相對（絕對）路徑

sharp 二進制 沒有 數據 csharp pan 用戶 ont 臨時 理解每個目錄的作用 bin 　　二進制文件 boot　　 系統的啟動文件、內核 dev　　 設備文件 etc　　 配置文件 home　　用戶的家目錄 lib　　　 鏈接庫文件　 l

Android入門之文件系統操作（二）文件操作相關指令

-h tools strong abc his art 為什麽 重命名 path （一）獲取總根 [java] view plain copy File[] fileList=File.listRoots(); //返回fileList.length為1 /

python接口自動化測試二十二：文件下載

文件類型 文件下載 文件 測試 TE com ont img In 文件下載類型： Content-Type: octets/stream 一般為文件類型： python接口自動化測試二十二：文件下載

細說shiro之二：組件架構

定義 then lms 信息 auth 自己的 apach cache author 官網：https://shiro.apache.org/ Shiro主要組件包括：Subject，SecurityManager，Authenticator，Authorizer，Ses

spring4.1.8初始化原始碼學習三部曲之二：setConfigLocations方法

本章是學習spring4.1.8初始化原始碼的第二篇，前一章《spring4.1.8初始化原始碼學習三部曲之一：AbstractApplicationContext構造方法》對AbstractApplicationContext的初始化做了分析，本章我們聚焦

maven構建docker映象三部曲之二：編碼和構建映象

在《maven構建docker映象三部曲之一：準備環境》中，我們在vmware上準備好了ubuntu16虛擬機器，並且裝好了docker、jdk8、maven等必備工具，現在我們來開發一個java web工程，再用docker-maven-plugin外掛來

Docker下Java檔案上傳服務三部曲之二：服務端開發

本章是《Docker下Java檔案上傳服務三部曲》的第二篇，上一章《Docker下Java檔案上傳服務三部曲之一：準備環境》我們把客戶端準備好了，Tomcat容器也部署好了，今天就來開發和部署檔案服務的後臺應用吧； 本章實戰內容概要 本章要建立三個w

Docker下的Spring Cloud三部曲之二：細說Spring Cloud開發

本文是《Docker下的Spring Cloud三部曲》系列的第二篇，詳細講解上一篇例項中用到的eureka、provider、consumer等三個應用的開發過程； 環境資訊 回顧一下實戰環境，如下圖： 原始碼地址 上圖的eureka、

python練習六十二：文件處理，往文件中所有添加指定的前綴

文件處理 pytho += txt mat write 執行 nbsp 格式 往文件中所有添加指定的前綴方法一：open方法f_r = open(‘text.txt‘) f_w = open(‘text_new.txt‘,‘w+‘) i = 0 while True: