在實際應用中，爬蟲可能會遇到各種限制，如IP封鎖、訪問限制等。通過使用代理伺服器，可以有效地繞過這些限制，提升爬蟲的效率和隱私保護。本文將詳細介紹如何在Python爬蟲中設置代理伺服器，包括使用requests、urllib、Scrapy和selenium等常用庫和框架。
代理伺服器是一個位於用戶和目標網站之間的仲介伺服器。當用戶通過代理伺服器訪問目標網站時，用戶的請求會先發送到代理伺服器，然後由代理伺服器轉發給目標網站。同樣，目標網站的回應也會先返回到代理伺服器，然後再由代理伺服器轉發給用戶。這樣，目標網站看到的就是代理伺服器的IP地址，而不是用戶的真實IP地址。這就是代理伺服器的基本工作原理。
使用 requests 庫設置代理
requests 是一個非常流行的HTTP請求庫，使用起來非常簡單。你可以通過設置 proxies 參數來使用代理伺服器。
import requests
# 設置代理
proxies = {
"http": "http://your_proxy_server:port",
"https": "https://your_proxy_server:port",
}
# 發送請求
response = requests.get("http://example.com", proxies=proxies)
print(response.text)
在這個例子中，我們通過設置 proxies 參數來指定HTTP和HTTPS的代理伺服器。然後，通過 requests.get 方法發送請求，代理伺服器會替我們訪問目標網站，並返回回應內容。
使用 urllib 庫設置代理
urllib 是Python標準庫的一部分，也可以用於設置代理。與 requests 庫不同，urllib 需要通過 ProxyHandler 來設置代理。
import urllib.request
# 設置代理
proxy_handler = urllib.request.ProxyHandler({
"http": "http://your_proxy_server:port",
"https": "https://your_proxy_server:port",
})
# 創建一個opener
opener = urllib.request.build_opener(proxy_handler)
# 使用opener發送請求
response = opener.open("http://example.com")
print(response.read().decode('utf-8'))
在這個例子中，我們首先創建了一個 ProxyHandler 對象，並設置了HTTP和HTTPS的代理。然後，通過 build_opener 方法創建一個 opener 對象，使用這個 opener 發送請求即可。
使用 Scrapy 設置代理
Scrapy 是一個強大的爬蟲框架，適用於構建大型的爬蟲專案。你可以通過在 settings.py 檔中設置代理。
# settings.py
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
}
HTTP_PROXY = 'http://your_proxy_server:port'
class ProxyMiddleware(object):
def process_request(self, request, spider):
request.meta['proxy'] = HTTP_PROXY
在這個例子中，我們在 settings.py 檔中配置了 HttpProxyMiddleware 和 RetryMiddleware，並定義了一個 ProxyMiddleware 類，通過 process_request 方法設置代理。這樣，每次發送請求時，都會使用指定的代理伺服器。
使用 selenium 設置代理
selenium 是一個用於自動化流覽器操作的庫，也可以設置代理伺服器。這對於需要處理動態網頁的爬蟲非常有用。
from selenium import webdriverfrom selenium.webdriver.common.proxy import Proxy, ProxyType
# 設置代理
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = "your_proxy_server:port"
proxy.ssl_proxy = "your_proxy_server:port"
# 將代理設置添加到webdriver
capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)
# 啟動流覽器
driver = webdriver.Chrome(desired_capabilities=capabilities)
driver.get("http://example.com")
print(driver.page_source)
driver.quit()
在這個例子中，我們首先創建了一個 Proxy 對象，並設置了HTTP和HTTPS的代理。然後，通過 add_to_capabilities 方法將代理設置添加到 webdriver 的能力集合中。最後，啟動流覽器並訪問目標網站。
在Python爬蟲設置代理伺服器是一個相對簡單但非常重要的步驟，瞭解如何設置代理伺服器，就可以有效提高Python爬蟲的性能和穩定性，使數據採集工作更加順利。同時，還可以幫助你繞過IP限制、訪問被封鎖的網站以及提高隱私保護等。
文章轉載自：https://www.okeyproxy.com/cn/