爬蟲python軟件，python爬蟲軟件-3款你必須知道的爬蟲工具

本篇博主將和大家分享幾個非常有用的爬蟲小工具，這些小工具在實際的爬蟲的開發中會大大減少你的時間成本，并同時提高你的工作效率，真的是非常實用的工具。

這些工具其實是Google上的插件，一些擴展程序，并且經博主親測，無任何問題。最后的最后，博主將提供小工具的獲取方式。

好了，話不多說，我們來介紹一下。

JSON-handle

1. 解讀：

我們前面提到過，當客戶端向服務器端提出異步請求（比如 ）時，會在響應里返回 格式的數據。

在開發者工具中，我們會看到 格式數據的可視化效果很差，就是一段冗長的字符串，難以直接看出關鍵信息。

那么為了直接有效的找到關鍵信息，工具會將繁雜的 格式數據變成簡單清晰的樹狀圖，極大的提高可視化效果。

2. 使用說明：

方法很簡單，如果你已經安裝好了小工具，點開圖標彈出框框，把數據復制進去即可。

當然，你也可以把從任意地方拿來的數據放進去，不局限于瀏覽器異步響應。

3. 實例：

就以<天貓網站>為例，隨便找出一個異步的請求，response是下面這樣的。

jsonp_46336857({"201509290":{"data":[{"_pos_":1,"entityType":"13","acm":"201509290.1003.1.1286473","title":"【搶券減400】Apple/蘋果iPhone X 全網通4G智能手機蘋果10 蘋果X","typ.......

把代碼放進框框里，點擊OK，就變成下面這樣了數（據比較長，只截取一部分）。

User-Agent Switcher

1. 解讀：

上篇解讀爬蟲中HTTP的秘密（基礎篇）我們介紹了請求頭，而這個工具就是針對請求頭中的User-Agent字段的。它的作用是可以隨意更換瀏覽器的User-Agent。

比如，你用Chrome瀏覽器瀏覽網頁，瀏覽器默認身份是Chrome，但是你可以通過這個工具更換成其它任何身份。

這個最大的好處就是可以直接更換成手機身份瀏覽網頁，而不必用開發者工具來回切換。

2. 使用說明：

使用Chrome瀏覽器安裝插件，點開圖標，選擇你需要的身份即可。

3. 實例：

（默認Chrome瀏覽器是這樣的）

（變換為IOS-iphone6）

Xpath-Helper

1. 解讀：

針對Xpath解析方法，Xpath-Helper可提供當前網頁指定Xpath語句的查詢結果。

2. 使用說明：

點開圖標，出現黑色框框。

QUERY：Xpath語句

RESULTS：查詢結果

3. 實例：

1.假設目標為二維碼下的<百度>二字

2.開發者工具找到源碼相應位置，右鍵copy xpath

3.復制到QUERY里面，結果自動出來

注：Xpath-Helper小工具安裝后需要重啟Chrome方可使用，請大家注意一下這個坑。

安裝方法

下載Chrome瀏覽器

下載小工具插件

打開Chrome更多工具—>擴展程序

拖動小工具插件程序<.crx>到擴展程序里

安裝

安裝完成后，右上角會有三個小圖標：

獲取方式

獲取方式很簡單，關注公眾號，發送<爬蟲小工具>，即可得到下載鏈接和密碼。

希望對大家有幫助，更多精彩敬請期待！

如果想學習Python爬蟲和數據分析，可以關注微信公眾號Python數據科學，發現數據之美。