requests模拟发送请求Get/Post

模拟浏览器行为 - 突破反爬虫防线的利器

简介

在网络爬虫的对抗路上,要想成功采集数据,有时需要模拟真实浏览器的行为发送请求,以通过网站反爬虫机制的检测。本文将介绍几种常用的模拟请求发送技术。

好的,我们在发送HTTP请求时,最常见的两种方法就是GET和POST请求。下面分别介绍一下它们的区别和适用场景:

GET请求

GET请求主要用于从服务器获取数据资源,例如请求一个网页或者文件。GET请求会将请求参数附加到URL地址后面,因此存在一定长度限制。格式如下:

https://www.example.com/path?param1=value1&param2=value2

使用GET请求的一些场景:

- 浏览网页
- 查询数据
- 进行分页获取数据列表

示例代码:

import requests

resp = requests.get('https://www.example.com/search', params={'q': 'python'})

POST请求 

POST请求主要用于向服务器发送数据,通常用于更新、创建资源。POST请求会将参数放在请求体中传输,可以传输较大的数据量。

使用POST请求的一些场景:

- 登录认证
- 提交表单数据 
- 上传文件
- 创建新的资源

示例代码:

import requests

payload = {'username': 'admin', 'password': '123456'}
resp = requests.post('https://www.example.com/login', data=payload)

files = {'upload_file': open('data.txt', 'rb')}
resp = requests.post('https://www.example.com/upload', files=files)

GET和POST请求的主要区别:

- GET请求参数包含在URL中,POST请求参数放在请求体中
- GET请求数据大小有限制,POST请求没有限制
- GET请求只能获取数据资源,POST可以创建、更新数据资源
- GET请求可以缓存,POST请求不可缓存
- GET请求有幂等性,多次请求相同结果,POST则不一定

综上所述,在设计RESTful API时通常查询操作使用GET,创建、修改和删除操作使用POST。在爬虫开发中,我们需要根据具体的场景选择合适的请求方法获取或提交数据。掌握GET/POST请求方法对于网络编程是非常重要的基础。

使用Requests库设置请求头

虽然Requests库只是一个HTTP客户端库,但通过精心设置请求头信息,就能很好地模拟主流浏览器的请求。例如:

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept-Language': 'en-US,en;q=0.5',
    'Referer': 'https://www.example.com'
}
resp = requests.get(url, headers=headers)

设置合理的User-Agent、语言、Referer等请求头字段,能很好地"伪装"成浏览器发出的请求。

Selenium/Requests组合拳

Selenium可以驱动真正的浏览器内核发送请求,无疑是模拟请求的终极武器。但由于Selenium效率较低,可以结合Requests使用,例如先使用Selenium自动获取Cookies:

driver.get(url)
cookies = driver.get_cookies()

# 使用Requests发送后续请求
s = requests.Session()
for cookie in cookies:
    s.cookies.set(cookie['name'], cookie['value'])   
resp = s.get(url)

使用Playwright/Puppeteer模拟

近年来,Puppeteer(Node.js版)和Playwright(Python版)这样的无头浏览器自动化测试工具也被用于模拟真实浏览器发送请求。

from playwright.sync_api import sync_playwright

def main():
    with sync_playwright() as p:
        browser = p.chromium.launch()
        page = browser.new_page()
        page.goto('https://example.com')
        
        # 获取Cookies
        cookies = page.context.cookies()
        
        # 模拟点击、滚动等操作
        page.click('#btn')
        page.mouse.wheel(0, 2000)
        
        # 最终发送请求
        resp = requests.get(url, cookies=cookies)

相比Selenium,Playwright/Puppeteer更加精简、高效。

使用Pyppeteer模拟发送请求

Pyppeteer可以直接调用Chromium浏览器内核发送请求,无需使用Selenium,非常轻量高效:

import pyppeteer

async def main():
    browser = await pyppeteer.launch()
    page = await browser.newPage()
    await page.goto('https://example.com') 
    
    # 执行JS模拟操作
    await page.evaluate('''() => {
        //模拟滚动
        window.scrollTo(0, document.body.scrollHeight);
    }''')
    
    # 发送请求
    resp = await page.goto(url, {'waitUntil': 'networkidle0'})
    
    # 获取响应内容
    content = await resp.text()

可以看出,Pyppeteer能直接通过await page.goto()模拟请求发送。我们还可以执行任何JavaScript脚本,轻松模拟浏览器的各种行为。

总之,无论是模拟请求头、使用Selenium/Requests组合、Playwright或Pyppeteer,都可以在一定程度上绕过反爬虫策略,成功采集所需的数据。选择何种技术,需要在效率和成本间权衡。在破解反爬虫的道路上,掌握多种模拟请求技术可以让爬虫能力更上一层楼。