django消息隊列，python 消息隊列 flask_python分布式爬蟲中消息隊列知識點詳解

當排隊等待人數過多的時候，我們需要設置一個等待區防止秩序混亂，同時再有新來的想要排隊也可以呆在這個地方。那么在python分布式爬蟲中，消息隊列就相當于這樣的一個區域，爬蟲要進入這個區域找尋自己想要的資源，當然這個是一定的次序的，不然數據獲取就會出現重復。就下來我們就python分布式爬蟲中的消息隊列進行詳細解釋，小伙伴們可以進一步了解一下。

實現分布式爬取的關鍵是消息隊列，這個問題以消費端為視角更容易理解。你的爬蟲程序部署到很多臺機器上，那么他們怎么知道自己要爬什么呢？總要有一個地方存儲了他們需要爬取的url吧，這樣他們才能工作。

假設有1萬個url需要爬取，而你有100個爬蟲程序部署在10臺機器上，每臺10個爬蟲程序在運行，一個url被分給爬蟲程序后，其他爬蟲不能再獲得這個url，不然，就重復爬取了，理解吧，分布式爬蟲的關鍵是怎么把任務分給這些爬蟲。

有些促銷活動的現場會進行抽獎活動，工作人員捧著一個透明的箱子，參與活動的人從箱子的小口處把手伸進去隨機拿出一張折疊的紙條，這種模式與消息隊列十分相似。消息隊列就好比這個抽獎的箱子，消費端的爬蟲程序就好比參與活動的顧客，爬蟲從消息隊列里拿出一個url任務，然后進行爬取，不同于抽獎活動時一個人只能拿一次，分布式爬蟲允許爬蟲在結束一個爬蟲任務后繼續從消息隊列里獲取任務。

使用redis的隊列做消息隊列

django消息隊列、如果你只是簡單的寫一個分布式爬蟲，那么使用redis的隊列就可以了，它完全可以作為消息隊列來使用，下面的代碼是生產端的代碼示例

import redis

r = redis.Redis(host='127.0.0.1', port=6379,

password='yourpassword', db=1)

# 生產10個url任務

for i in range(10):

Python隊列，r.lpush('url_queue', i)

相信看完以上的代碼示例后，小伙伴們已經學會用redis創造一個消息隊列，用來方便爬蟲的獲取數據。本篇是以生產段的角度寫的代碼

到此這篇關于python分布式爬蟲中消息隊列知識點詳解的文章就介紹到這了,更多相關python分布式爬蟲中的消息隊列是什么內容請搜索我們以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持我們！

本文標題: python分布式爬蟲中消息隊列知識點詳解

本文地址: http://www.cppcns.com/jiaoben/python/366379.html