【JS逆向基础】WEB自动化

pip install selenium

pip install selenium -i Simple Index

chrome驱动地址:

http://chromedriver.storage.googleapis.com/index.html

==========================

安装对应驱动

Microsoft Edge WebDriver | Microsoft Edge Developer

检查浏览器版本，下载对应版本驱动

find_element方法仅仅能够获取元素对象，接下来就可以对元素执行以下操作 从定位到的元素中提取数据的方法

• 从定位到的元素中获取数据

• 对定位到的元素的操作

from time import sleep
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By

driver = webdriver.Edge()
driver.implicitly_wait(10)
driver.maximize_window()
driver.get('http://sahitest.com/demo/dragDropMooTools.htm')

dragger = driver.find_element(By.ID,'dragger')   # 被拖拽元素

item1 = driver.find_element(By.XPATH,'//div[text()="item_1"]') #目标元素1
item2 = driver.find_element(By.XPATH,'//div[text()="item_2"]')# 目标2
item3 = driver.find_element(By.XPATH,'//div[text()="item_3"]')# 目标3
item4 = driver.find_element(By.XPATH,'//div[text()="item_4”]') #目标4
action = ActionChains(driver)
action.drag_and_drop(dragger,item1).perform()       #1.移动dragger到目标1
sleep(2)
action.click_and_hold(dragger).release(item2).perform() #2.效果与上句相同，也能起到移动效果
sleep(2)
action.click_and_hold(dragger).move_to_element(item3).release().perform() #3,效果与上两句相同，也能起到移动的效果
sleep(2)
action.click_and_hold(dragger).move_by_offset(800,0).release().perform()
sleep(2)
driver.quit()

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.jd.com/')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
time.sleep(3)

• 强制等待

也叫线程等待,通过线程休眠的方式完成的等待,如等待5秒: Thread sleep(5000)，一般情况下不太使用强制等待，主要应用的场景在于不同系统交互的地方。

阻塞等待设定的秒数之后再继续往下执行

• 显式等待

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 每隔 0.5s 检查一次(默认就是 0.5s)，最多等待 10 秒,否则报错。如果定位到元素则直接结束等待，如果在10秒结束之后仍未定位到元素则报错
chrome = webdriver.Edge()
# 发起请求
chrome.get('https://www.jd.com')
# 查找响应页面中的某个标签元素
img_s = chrome.find_elements(By.CLASS_NAME, "focus-item-img")
wait = WebDriverWait(chrome,10,0.5)
wait.until(EC.presence_of_element_located((By.ID, 'J goodsList')))

• 隐式等待

注意:

Selenium显示等待和隐式等待的区别

1、selenium的显示等待原理:显示等待，就是明确要等到某个元素的出现或者是某个元素的可点击等条件，等不到，就一直等，除非在规定的时间之内都没找到，就会跳出异常Exception

(简而言之，就是直到元素出现才去操作，如果超时则报异常)

2、selenium的隐式等待

原理:隐式等待，就是在创建driver时，为浏览器对象创建一个等待时间，这个方法是得不到某个元素就等待一段时间，直到拿到某个元素位置。

注意:

在使用隐式等待的时候，实际上浏览器会在你自己设定的时间内部断的刷新页面去寻找我们需要的元素

• 无头浏览器

• selenium处理cookie

• 页面前进和后退

• pyppeteer的安装

介绍Pyppeteer之前先说一下Puppeteer，Puppeteer是谷歌出品的一款基于Node.js开发的一款工具，主要是用来操纵Chrome浏览器的 APl，通过Javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。

pyppeteer是非官方 Python 版本的 Puppeteer 库，浏览器自动化库，由日本工程师开发

commondatastorage.googleapis.com/chromium-browser-snapshots/index.html?prefix=Win_x64/

• pyppeteer滑动验证案例

from pyppeteer import launch
import random
import asyncio
import cv2
from urllib import request

async def get_track():
    big = cv2.imread("bigimg.jpg",0)
    small = cv2.imread("smallimg.jpg",0)
    # print("cv2:",small)
    res = cv2.matchTemplate(big, small, cv2.TM_CCOEFF_NORMED)
    value = cv2.minMaxLoc(res)[2][0]
    print(value)
    #需要通过渲染比计算出实际的距离
    return value * 342 / 360

async def main():
    browser = await launch({
        "headless": False,
        "args":["--window-size=1920,1080"],
    })
    #打开新的标签页
    page = await browser.newPage()
    # 设置界面大小一致
    await page.setViewport({"width":1920, "height":1080})
    #访问主页
    await page.goto("https://passport.jd.com/new/login.aspx")
    await page.type("#loginname","18438371807",{
        "c":random.randint(30,60)
    })
    await page.type("#nloginpwd", "abc10000610", {
        "delay":random.randint(30, 60)
    })

    await page.waitFor(2000)
    await page.click("div.login-btn")
    await page.waitFor(2000)

    # page.Jeval(selector,pageFunction)  # 定位元素，并调用js函数去执行
    big_img = await page.Jeval(".JDJRV-bigimg > img","el=>el.src")
    small_img = await page.Jeval(".JDJRV-smallimg > img", "el=>el.src")

    # 下载图片
    request.urlretrieve(big_img, 'bigimg.jpg')
    request.urlretrieve(small_img, 'smallimg.jpg')

    # 得到滑动的距离
    distance = int(await get_track())
    print("distance:", distance)

    # Pyppeteer 三种解析方式
    # Page.querySelector()  # 选择器
    # Page.querySelectorAll()
    # Page.xpath()   #xpath 表达式# 简写方式为:
    # Page.J(), Page.j](), and Page.Jx()


    el = await page.J("div.JDJRV-slide-btn")
    #获取元素的边界框
    box = await el.boundingBox()
    await page.hover("div.JDJRV-slide-btn")
    await page.mouse.down()
    # steps 是指分成几步来完威  steps越大，滑动速度越慢
    await page.mouse.move(box["x"] + distance + random.uniform(30,33), box["y"], {"steps":100})
    await page.waitFor(2000)
    await page.mouse.move(box["x"] + distance + 29, box["y"], {"steps": 100})
    await page.mouse.up()
    await page.waitFor(2000)

if __name__ == "__main__":
    asyncio.get_event_loop().run_until_complete(main())