2. 程式人生 > 實用技巧 >kettle中json input中資料的解析

kettle中json input中資料的解析

阿新 • • 發佈：2020-08-12

一、對於json資料的解析

簡介

  • JSONPath - 是xpath在json的應用。

類似於XPath在xml文件中的定位，JsonPath表示式通常是用來路徑檢索或設定Json的。其表示式可以接受“dot–notation”和“bracket–notation”格式，例如$.store.book[0].title、$[‘store’][‘book’][0][‘title’]

  • JSONPath 表示式
  1. JSONPaht 用一個抽象的名字$來表示最外層物件。
  2. 使用.符號：$.store.book[0].title
  3. 使用[]:$['store']['book'][0]['title']
  4. 陣列索引

1）JSONPath 允許使用萬用字元 * 表示所以的子元素名和陣列索引。還允許使用 '..' 從E4X參照過來的和陣列切分語法[start:end:step]

2）$.store.book[(@.length-1)].title

3）使用'@'符號表示當前的物件，?(<判斷表示式>) 使用邏輯表示式來過濾

$.store.book[?(@.price < 10)].title

二、JSONPath語法元素和對應XPath元素的對比

XPath

JSONPath

Description

/

$

表示根元素

.

@

當前元素

/

. or []

子元素

..

n/a

父元素

//

..

遞迴下降，JSONPath是從E4X借鑑的。

*

*

萬用字元，表示所有的元素

@

n/a

屬性訪問字元

[]

[]

子元素操作符

|

[,]

連線操作符在XPath 結果合併其它結點集合。JSONP允許name或者陣列索引。

n/a

[start:end:step]

陣列分割操作從ES4借鑑。

[]

?()

應用過濾表示式

n/a

()

指令碼表示式，使用在指令碼引擎下面。

()

n/a

Xpath分組

三、jsonpath使用舉例

介面返回：

  1. [{
  2. "id": "PRIMARY",
  3. "name": "小學",
  4. "front_id": "PRIMARY",
  5. "front_name": "小學"
  6. }, {
  7. "id": "JUNIOR",
  8. "name": "初中",
  9. "front_id": "JUNIOR",
  10. "front_name": "初中"
  11. }, {
  12. "id": "HIGH",
  13. "name": "高中",
  14. "front_id": "HIGH",
  15. "front_name": "高中"
  16. }, {
  17. "id": "TECHNICAL",
  18. "name": "中專/技校",
  19. "front_id": "TECHNICAL",
  20. "front_name": "中專/技校"
  21. }, {
  22. "id": "COLLEGE",
  23. "name": "大專",
  24. "front_id": "COLLEGE",
  25. "front_name": "大專"
  26. }, {
  27. "id": "BACHELOR",
  28. "name": "本科",
  29. "front_id": "BACHELOR",
  30. "front_name": "本科"
  31. }, {
  32. "id": "MASTER",
  33. "name": "碩士",
  34. "front_id": "MASTER",
  35. "front_name": "碩士"
  36. }, {
  37. "id": "DOCTOR",
  38. "name": "博士",
  39. "front_id": "DOCTOR",
  40. "front_name": "博士"
  41. }]

JSONPath

結果

$.[*].name

所有學歷的name

$.[*].id

所有的id

$.[*]

所有元素

$.[(@.length-2)].name

倒數第二個元素的name

$.[2]

第三個元素

$.[(@.length-1)]

最後一個元素

$.[0,1]

$.[:2]

前面的兩個元素

$.[?(@.name =~ /.*中/i)]

過濾出所有的name包含“中”的書。

$..book[?(@.price<10)]

過濾出價格低於10的書。

$.[*].length()

所有元素的個數

介面返回：

  1. {
  2. "store": {
  3. "book": [
  4. {
  5. "category": "reference",
  6. "author": "Nigel Rees",
  7. "title": "Sayings of the Century",
  8. "price": 8.95
  9. },
  10. {
  11. "category": "fiction",
  12. "author": "Evelyn Waugh",
  13. "title": "Sword of Honour",
  14. "price": 12.99
  15. },
  16. {
  17. "category": "fiction",
  18. "author": "Herman Melville",
  19. "title": "Moby Dick",
  20. "isbn": "0-553-21311-3",
  21. "price": 8.99
  22. },
  23. {
  24. "category": "fiction",
  25. "author": "J. R. R. Tolkien",
  26. "title": "The Lord of the Rings",
  27. "isbn": "0-395-19395-8",
  28. "price": 22.99
  29. }
  30. ],
  31. "bicycle": {
  32. "color": "red",
  33. "price": 19.95
  34. }
  35. },
  36. "expensive": 10
  37. }

JsonPath表示式

結果

$.store.book[*].author
或
$..author

[
“Nigel Rees”,
“Evelyn Waugh”,
“Herman Melville”,
“J. R. R. Tolkien”
]

$.store.* 顯示所有葉子節點值

[
[
{
”category” : “reference”,
”author” : “Nigel Rees”,
”title” : “Sayings of the Century”,
”price” : 8.95
},
{
”category” : “fiction”,
”author” : “Evelyn Waugh”,
”title” : “Sword of Honour”,
”price” : 12.99
},
{
”category” : “fiction”,
”author” : “Herman Melville”,
”title” : “Moby Dick”,
”isbn” : “0-553-21311-3”,
”price” : 8.99
},
{
”category” : “fiction”,
”author” : “J. R. R. Tolkien”,
”title” : “The Lord of the Rings”,
”isbn” : “0-395-19395-8”,
”price” : 22.99
}
],
{
”color” : “red”,
”price” : 19.95
}
]

$.store..price

[
8.95,
12.99,
8.99,
22.99,
19.95
]

$..book[0,1]
或
$..book[:2]

[
{
”category” : “reference”,
”author” : “Nigel Rees”,
”title” : “Sayings of the Century”,
”price” : 8.95
},
{
”category” : “fiction”,
”author” : “Evelyn Waugh”,
”title” : “Sword of Honour”,
”price” : 12.99
}
]

$..book[-2:]

獲取最後兩本書

$..book[2:]

[
{
”category” : “fiction”,
”author” : “Herman Melville”,
”title” : “Moby Dick”,
”isbn” : “0-553-21311-3”,
”price” : 8.99
},
{
”category” : “fiction”,
”author” : “J. R. R. Tolkien”,
”title” : “The Lord of the Rings”,
”isbn” : “0-395-19395-8”,
”price” : 22.99
}
]

$..book[?(@.isbn)]

所有具有isbn屬性的書

$.store.book[?(@.price < 10)]

所有價格小於10的書

$..book[?(@.price <=$[‘expensive’])]

所有價格低於expensive欄位的書

$..book[?(@.author =~ /.*REES/i)]

所有符合正則表示式的書
[
{
”category” : “reference”,
”author” : “Nigel Rees”,
”title” : “Sayings of the Century”,
”price” : 8.95
}
]

$..*

返回所有

$..book.length()

[
4
]

四、過濾器

操作符

描述

==

等於符號，但數字1不等於字元1(note that 1 is not equal to ‘1’)

!=

不等於符號

<

小於符號

<=

小於等於符號

>

大於符號

>=

大於等於符號

=~

判斷是否符合正則表示式，例如[?(@.name =~ /foo.*?/i)]

in

所屬符號，例如[?(@.size in [‘S’, ‘M’])]

nin

排除符號

size

size of left (array or string) should match right

empty

判空符號

例如：

1）所有具有isbn屬性的書

$.store.book[?(@.isbn)].author

2)所有價格大於10的書

$.store.book[?(@.price > 10)]

3）查詢xxx==3的所有物件

$.result.list[?(@.xxx ==3)]

4）可以自定義過濾器來獲取想要的任何元素，可以多條件查詢

五、線上解析器

http://jsonpath.com/

https://jsonpath.curiousconcept.com/

在這裡，你可以將你的json格式的資料拷貝上去，自己手動寫表示式解析檢視。

相關推薦

kettle中json input中資料的解析

一、對於json資料的解析 簡介 JSONPath - 是xpath在json的應用。 類似於XPath在xml文件中的定位，JsonPath表示式通常是用來路徑檢索或設定Json的。其表示式可以接受“dot–notation”和“brac

微信小程式中修改input中的placeholder字型顏色，字型大小

技術標籤：小程式 wxml <input type="text" placeholder="請輸入材料名稱" placeholder-class="phcolor" />

詳解Java中JSON資料的生成與解析

一、什麼是jsON JSON: javascript Object Notation JS物件簡譜，是一種類似於XML的語言。相比於XML，它更小、更快、更易解析。主要用於專案前端和Server的網路資料傳輸。

vue input中展示JSON資料時格式化展示

<el-form ref=\"taskDictForm\" :model=\"taskDictForm\" label-width=\"120px\" :rules=\"taskDictFormRules\"

Winform中怎樣使用HttpClient呼叫http的get和post介面並將介面返回json資料解析為實體類

場景 需要在Winform的頁面初始化之後，呼叫http的介面，並將返回的json資料 解析，賦值到窗體中的TextBox元件中。

集合資料儲存到本地json文字中，並解析

一、將資料存入json文字中 1、呼叫工具類，實現資料轉為json，並生成json文字 JSONArray jsonarray = JSONArray.parseArray(JSON.toJSONString(dataList));

python實現將json多行資料傳入到mysql中使用

將json多行資料傳入到mysql中使用python實現 表需要提前建立，字符集utf8 如果不行換成utf8mb4

淺談Python中的異常和JSON讀寫資料的實現

異常可以防止出現一些不友好的資訊返回給使用者，有助於提升程式的可用性，在java中通過try ... catch ... finally來處理異常，在Python中通過try ... except ... else來處理異常

elk蒐集日誌，實現logstash根據message中結構不同動態建立索引並擴充套件功能，區分message中json和非json資料簡單方式

蒐集日誌，但是框架本身也會列印很多日誌是字串的。我們自己希望的日誌用json，但是又需要json欄位可以擴充套件，logstash收集日誌後都放在了message欄位中，我們自定義列印的是json串,spring列印的是string，為此我

騰訊位置大資料中區域熱力圖資料的資料解析

騰訊位置大資料中提供了位置流量趨勢資料、區域熱力圖資料、人口遷徙資料。今天就來講講區域熱力圖，如何獲取資料，以及對資料的解讀一、資料的獲取 F12開啟開發者工具，點選NetWork，如上圖所示則為當時的

JAVA 格式化JSON資料並儲存到json檔案中的例項

使用fastjson格式化json資料並儲存到檔案 /** * 將JSON資料格式化並儲存到檔案中 * @param jsonData 需要輸出的json數

Spring開發後端如何獲取http請求體body中的json格式的資料

技術標籤：JavaSpringjavaspringjson Spring開發後端如何獲取http請求體body中的json格式的資料

layui資料表格，自定義頭部中使用input輸入框不可輸入問題

技術標籤：htmlhtmllayui 問題出在這個屬性，解決辦法font-size給個值就行了 原始是font-size：0所以什麼都輸入不進去

一個SQLServer中JSON文件型資料的查詢問題

近日在專案中遇到一個問題： 如何在報表中統計JSON格式儲存的資料？ 例如有個調查問卷記錄表，記錄每個問題的答案。 其結構示意如下（橫表設計）

提取資料中的精髓--秒雲日誌資料解析

​ 什麼是資料解析 資料解析，也稱為資料泛化，目的是提取出資料中關鍵的，有意義的資訊，將非結構化或半結構化的資料轉換為結構化的資料。通俗來講，日誌資料解析的目的是取資料之精華，去資料之糟粕。

JS-JSON-獲取JSON物件中的資料展示到表格裡

JS-JSON-獲取JSON物件中的資料展示到表格裡 1.要求 點選按鈕，將學生資訊展示到表格裡，並顯示總記錄條數。

kettle實現SQL中的union合併資料(追加流)

https://blog.csdn.net/Deng_7788/article/details/102571037 以前專案稍微比較複雜，需要在多個不同的資料庫中抽取資料，然後實現資料合併，因為資料不在同一個庫中，實現合併只能利用多個表輸入控制元件先拿到資

Java讀取Excel檔案的內容，歸檔到json檔案中（對json資料進行讀取、新增/修改put、刪除remove操作）

Java讀取Excel檔案的內容，歸檔到json檔案中（對json資料進行讀取、新增/修改put、刪除remove操作）

layui 表格中新增input表單效果且實現資料監聽

layui 表格中新增input表單效果且實現資料監聽 在layui 表格中列操作中插入input 表單輸入框，實現資料內容監聽效果；

C#從json樣例中提取 模板 及 資料

　　背景：將多份不同格式的樣例Json資料的格式提取出來，並將資料替換成新的資料。