數據提取之JSON與JsonPATH(怎麼獲取json對象的屬性和值)

數據提取之JSON與JsonPATH

大家好，我是Python進階者。

背景介紹

我們知道再爬蟲的過程中我們對於爬取到的網頁數據需要進行解析,因為大多數數據是不需要的,所以我們需要進行數據解析,常用的數據解析方式有正則表達式,xpath,bs4,這次我們來介紹一下另一個數據解析庫--jsonpath,在此之前我們需要先了解一下什麼是json。

一、初識Json

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景，比如網站前台與後台之間的數據交互。

Python 2.7及之後版本,自帶了JSON模塊，直接import json就可以使用了。

官方文檔：http://docs.python.org/library/json.html

Json在線解析網站：http://www.json.cn/#

二、Json的基本使用

簡介

json簡單說就是javascript中的對象和數組，所以這兩種結構就是對象和數組兩種結構，通過這兩種結構可以表示各種複雜的結構;

0. 對象：對象在js中表示為{ }括起來的內容，數據結構為 { key：value, key：value, ... }的鍵值對的結構，在面向對象的語言中，key為對象的屬性，value為對應的屬性值，所以很容易理解，取值方法為 對象.key 獲取屬性值，這個屬性值的類型可以是數字、字元串、數組、對象這幾種。
1. 數組：數組在js中是中括弧[ ]括起來的內容，數據結構為 ["Python", "javascript", "C++", ...]，取值方式和所有語言中一樣，使用索引獲取，欄位值的類型可以是 數字、字元串、數組、對象幾種。

使用

json模塊提供了四個功能：dumps、dump、loads、load，用於字元串 和 python數據類型間進行轉換。

把Json格式字元串解碼轉換成Python對象 從json到python的類型轉化對照如下：

1.json.loads()

import json

strDict = '{"city": "廣州", "name": "小黑"}'

r = json.loads(strDict) # json數據自動按Unicode存儲

print(r)

結果如下：

2. json.load()

讀取文件中json形式的字元串元素 轉化成python類型

import json
s = json.load(open('test.json','r',encoding='utf-8'))
print(s,type(s))

結果如下：

3. json.dumps()

實現python類型轉化為json字元串，返回一個str對象 把一個Python對象編碼轉換成Json字元串

import json

listStr = [1, 2, 3, 4]
dictStr = {"city": "北京", "name": "大貓"}

s1 = json.dumps(listStr)
s2 = json.dumps(dictStr,ensure_ascii=False)

print(s1,type(s1))
print(s2)

結果如下：

注意：

0. json.dumps() 序列化時默認使用的ascii編碼
1. 添加參數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼

4. json.dump()

將Python內置類型序列化為json對象後寫入文件

import json

json_info = "{'age': '12'}"
file = open('ceshi.json','w',encoding='utf-8')
json.dump(json_info,file)

結果如下：

三、JsonPath

JsonPath 是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 對於 JSON 來說，相當於 XPATH 對於 XML。

JsonPath與XPath語法對比

Json結構清晰，可讀性高，複雜度低，非常容易匹配，下表中對應了XPath的用法。

四、案例測試

我們爬取淘票票官網的城市信息,保存為json文件,進行jsonpath語法測試，獲取所有城市名稱。

請求

import requests
import time

url = 'https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1632211792156_137&jsoncallback=jsonp138&action=cityAction&n_s=new&event_submit_doGetAllRegion=true'

headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36',
}

res = requests.get(url,headers=headers)

result = res.content.decode('utf-8')

print(result) # xxx省略

注意：

保存數據

content = result.split('(')[1].split(')')[0] # 由於文件首尾的字元不需要需要剔除掉做字元串切割

with open('tpp.json','w',encoding='utf-8')as fp:
fp.write(content)

打開json文件如下所示：

解析數據

這裡我們獲取全部城市名稱

import json
import jsonpath

obj = json.load(open('tpp.json','r',encoding='utf-8')) # 注意，這裡是文件的形式，不能直接放一個文件名的字元串

city_list = jsonpath.jsonpath(obj,'$..regionName') # 文件對象 jsonpath語法

print(city_list)

結果如下：

五、總結

我們知道json是一種常見的數據傳輸形式，所以對於爬取數據的數據解析，json的相關操作是比較重要的，能夠加快我們的數據提取效率，本文簡單介紹了json和jsonpath的相關操作，對於測試網站(淘票票)的json做了簡單的數據解析，感興趣的小夥伴可以把其他數據解析一下。

怎麼獲取json對象的屬性和值

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式。易於人閱讀和編寫。同時也易於機器解析和生成。它基於JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一個子集。 JSON採用完全獨立於語言的文本格式，但是也使用了類似於C語言家族的習慣（包括C, C++, C#, Java, JavaScript, Perl, Python等）。這些特性使JSON成為理想的數據交換語言。

下面介紹獲取JSON屬性和值的方法：

方法一：使用for in遍歷

1、使用for in遍歷獲取屬性

輸出：

2、for in遍歷獲取屬性值

輸出：

註：在使用for遍歷時，只能通過 myObj[x] 來獲取相應屬性的值，而不能使用 myObj.x

方法二： 使用點號（.），即對象名.屬性名的形式來訪問 

輸出：

方法三：使用中括弧（[]），即字典索引的方式來訪問

輸出：

以上就是怎麼取json對象的屬性和值？的詳細內容，更多請關注網站的其它相關文章！