## :同花顺爬虫(js逆向之数组混淆)
这个站点主要是js混淆中的数组混淆,不难,何况这个站点的接口有一个bug,不需要生成有次数限制的hexin-v,只需要几个字母就能一直get到数据,若不是强迫症,我也不想逆向这段代码,只是为了证明自己在进步吧。
抓取前20页:
# -*- coding: utf-8 -*-
"""
# @Time : 2021/7/10 20:35
# @Author : ChenLvLei
# @Email : 2516455367@qq.com
# @FileName : test
# @Description :
"""
import copy
import execjs
import pandas as pd
import requests
from parsel import Selector
from tqdm import tqdm
ctx = execjs.compile(open('./test.js', encoding='utf-8').read())
def return_keys():
return ctx.call('getkeys')
data_Dic = {}
df_list = []
for page in tqdm(range(1, 21)):
key=return_keys()
print(key)
headers = {
'hexin-v': "{}".format(key),
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
url = f'http://q.10jqka.com.cn/usa/detailDefer/board/all/field/zdf/order/desc/page/{page}/ajax/1/'
response = requests.request('Get', url, headers=headers)
response.encoding = response.apparent_encoding
trs = Selector(response.text).xpath(
'//table[@class="m-table m-pager-table"]/tbody//tr')
for tr in trs:
data_dic = copy.deepcopy(data_Dic)
data_dic.update({'序号': tr.xpath('./td[1]/text()').get()})
data_dic.update({'代码': tr.xpath('./td[2]/a/text()').get()})
data_dic.update({'名称': tr.xpath('./td[3]/a/text()').get()})
data_dic.update({'现价': tr.xpath('./td[4]/text()').get()})
data_dic.update({'涨跌幅(%)': tr.xpath('./td[5]/text()').get()})
data_dic.update({'涨跌': tr.xpath('./td[6]/text()').get()})
data_dic.update({'换手(%)': tr.xpath('./td[7]/text()').get()})
data_dic.update({'成交量': tr.xpath('./td[8]/text()').get()})
data_dic.update({'市盈率(%)': tr.xpath('./td[9]/text()').get()})
data_dic.update({'成交额': tr.xpath('./td[10]/text()').get()})
data_dic.update({'52周最高': tr.xpath('./td[11]/text()').get()})
data_dic.update({'52周最低': tr.xpath('./td[12]/text()').get()})
df_list.append(data_dic)
del data_dic
df=pd.DataFrame(df_list)
print(df)
df.to_excel('./同花顺JS篇.xlsx', index=False)
结果:
总结:不知道是不是我是专业找bug的,好几个站点我都找到不需要是参数就可以得到数据。
ps:js代码我就不放了,有需要可联系。