活动地址:CSDN21天学习挑战赛
以下是关于lxml&&BeautifulSoup库的使用
? 点击跳转到上一篇续文?
?快,跟我一起爬起来?
?????
?????
?????
?????
爬虫越爬越爽
lxml&&BeautifulSoup?
简介?
简单理解:(简单爬虫是爬取整个页面的内容)解析就是通过某种方法去得到我们想要的数据而不是全部都要。

解析的几种方法?
- path
- JsonPath 点击跳转至JsonPath相关使用
- BeautifulSoup
- 正则表达式
lxml库的使用✍
安装Xpath Helper插件
Xpath Helper插件的作用:可以让我们高效解析网页内容
Xpath Helper插件安装包链接:点击跳转至GitHub
安装插件步骤:
(1)打开chrome浏览器
(2)点击右上角小圆点
(3)更多工具
(4)扩展程序
(5)拖拽xpath插件到扩展程序中
(6)关闭浏览器重新打开
(7)ctrl + shift + x
(8)出现小黑框
如下图(安装成功?):



lxml库的使用
使用步骤:
- 安装lxml库
pip install lxml ‐i - 导入lxml.etree
from lxml import etree - etree.parse() 解析本地文件
result = etree.parse(‘xxx.html’) - etree.HTML() 服务器响应文件
result = etree.HTML(response.read().decode(‘utf‐8’) - result .xpath(xpath路径)
?xpath常用表达式(太多就不一一列出用到的时候可以去中文官方查看就可以了):
| 表达式 | 描述 |
|---|---|
| nodename | 选取此节点的所有子节点 |
| / | 从当前节点选取直接子节点 |
| // | 从当前节点选取子孙节点 |
| . | 选取当前节点 |
| … | 选取当前节点的父节点 |
| @ | 选取属性 |
| * | 通配符,选择所有元素节点与元素名 |
| @* | 选取所有属性 |
| [@attrib] | 选取具有给定属性的所有元素 如://@class |
| [@attrib=‘value’] | 选取给定属性具有给定值的所有元素 如://div[@id=“maincontent”] 或 //div[@id] |
| [tag] | 选取所有具有指定元素的直接子节点 |
| [tag=‘text’] | 选取所有具有指定元素并且文本内容是text节点 |
| 模糊查询 | //div[contains(@id, “he”)] 或 //div[starts‐with(@id, “he”)] |
| 内容查询 | //div/h1/text() |
| 逻辑运算 | //div[@id=“head” and @class=“s_down”] 或 //title |
lxml库之Xpath(解析本地文件)的简单使用
?模拟被解析的数据如下:
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8"/> //这里必须加(/ )严格安装Html
<title>python之lxml库</title>
</head>
<body>
<ul>
<li id="goba" class="goba4">我是lxml</li>
</ul>
<ul>
<li id="goba1">我是lxml~</li>
</ul>
<ul>
<li class="goba3">我是lxml~~</li>
</ul>
<span>
<ul>
<li class="goba4">书属</li>
</ul>
</span>
</body>
</html>
?代码演示
from lxml import etree
tree = etree.parse('index.html')
list1 = tree.xpath('body/ul/li/text()')
list2 = tree.xpath('//ul/li/text()')
list3 = tree.xpath('//ul/li[@id]/text()')
list31 = tree.xpath('//ul/li[@id="goba"]/text()')
list4 = tree.xpath('//ul/li[@class]/text()')
list41 = tree.xpath('//ul/li[@class="goba4"]/text()')
list5 = tree.xpath('//ul/li[contains(@class,"go")]/text()')
list51 = tree.xpath('//ul/li[starts-with(@id,"go")]/text()')
list6 = tree.xpath('//ul/li[@id="goba" or @class="goba4"]/text()')
list61 = tree.xpath('//ul/li[@id="goba" and @class="goba4"]/@class')
print(list1)
print(list2)
print(list3)
print(list31)
print(list4)
print(list41)
print(list5)
print(list51)
print(list6)
print(list61)
结果如下图所示:

lxml库之Xpath(解析爬取的文件)&& Xpath插件的简单使用
通过xpath获取想要的数据如://input[@id=“su”]/@value(获取?一下的文字)

?代码演示
import urllib.request
url = 'https://www.baidu.com/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 '
'Safari/537.36',
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
print(request.get_full_url())
content = response.read().decode('utf-8')
# 获取网页数据解析我们想要的数据
from lxml import etree
# 解析服务器响应的数据 这里就使用Xpath插件了 通过xpath验证通过 //input[@id="su"]/@value可以拿到?一下
result = etree.HTML(content)
resultS = result.xpath('//input[@id="su"]/@value')[0]
print(resultS)
如下图所属(获取数据成功?):

lxml库之Xpath(解析爬取的文件)&& Xpath插件的简单使用 && 下载图片
步骤如?图:


?代码演示
import urllib.request
from lxml import etree
def create_request(page):
# 因为接口一和其他接口不一样这里做判断
if page == 1:
url = 'https://sc.chinaz.com/tupian/xiaomaotupian.html'
else:
url = 'https://sc.chinaz.com/tupian/xiaomaotupian_' + str(page) + '.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/102.0.0.0 Safari/537.36',
}
# 模拟服务器发送请求
request = urllib.request.Request(url=url, headers=headers)
return request
def get_get_content(request):
# 获取数据
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def download(content):
# 下载我们需要链接、文件名和文件夹名
# urllib.request.urlretrieve(链接、文件夹名或文件路径)
# // // div[ @ id = "container"] //a/@alt
# // div[ @ id = "container"] // a // img / @ src
result = etree.HTML(content)
listName = result.xpath('// div[ @ id = "container"] //a/@alt')
listSrc = result.xpath('// div[ @ id = "container"] // a // img / @ src')
for index in range(len(listName)):
imgName = listName[index]
imgSrc = 'http:' + listSrc[index]
print('下载成功:'"宠物的姓名"+imgName+"宠物的链接"+imgSrc)
urllib.request.urlretrieve(imgSrc, filename='./小猫文件/' + imgName + '.jpg')
if __name__ == '__main__':
startPage = int(input("其输入开始页"))
endPage = int(input("其输人结束页"))
for page in range(startPage, endPage + 1):
# 1、请求对象的定制
request = create_request(page)
# 2、获取网页的源码
content = get_get_content(request)
# 3、下载内容
download(content)
如下图(爬取成功?):

分享几张爬到的图片:
BeautifulSoup库的使用
官方:点击跳转?
使用步骤:
- 安装BeautifulSoup库
pip install bs4 - 导入BeautifulSoup
from bs4 import BeautifulSoup - etree.parse() 解析本地文件
result= BeautifulSoup(open(‘1.html’), ‘lxml’) - etree.HTML() 服务器响应文件
result= BeautifulSoup(response.read( ,decode()), ‘lxml’)
⚠注意:默认打开文件的编码格式gbk所以需要指定打开编码格式
?ba4常见表达式:
result= BeautifulSoup(open(‘1.html’), decode(),‘lxml’)
节点定位
1. 根据标签名查找节点
result.a【注】 只能找到第一个a
result.a.name //
result.a.attrs //获取标签的属性和属性值
2. 函数
(1).find(返回一个对象)
find(‘a’):只找到第一个a标签
find(‘a’, title = ‘名字’)
find(‘a’, class_ = ‘名字’)(2).find_all(返回一个列表) find_all('a') 查找到所有的a find_all(['a', 'span']) 返回所有的a和span find_all('a', limit = 2) 只找前两个a (3).select(根据选择器得到节点对象)【推荐】 1. element eg: p 2..class eg: .firstname 3.# id eg: #firstname 4. 属性选择器 [attribute] eg: li = result.select('li[class]')[attribute = value] eg: li = result.select('li[class="hengheng1"]') 5. 层级选择器 5.1、element element div p 5.2、element > element div > p 5.3、element, element div, p eg: result = result.select('a,span')节点信息
(1).获取节点内容: 适用于标签中嵌套标签的结构
obj.string
obj.get_text()【推荐】
(2).节点的属性
tag.name 获取标签名
eg: tag = find('li)
print(tag.name)
tag.attrs将属性值作为一个字典返回
(3).获取节点属性
obj.attrs.get(‘title’)【常用】
obj.get(‘title’)
obj[‘title’]
?模拟被解析的数据如下:
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
<a>小明</a>
<a>小明s</a>
<a class="cls" title="tie">小明</a>
<span id="i" class="i">
<a>喝个痛快</a>
</span>
</body>
</html>
?代码演示
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('加载本地文件.html', encoding='utf-8'), 'lxml')
cls = soup.find('a', class_='cls')
cls = soup.find('a', title='tie')
cls = soup.find_all('a', class_='cls')
cls = soup.select('a[class=cls]')
cls=soup.select('span a')
cls=soup.select('span>a')
cls=soup.select('#i')[0]
cls=soup.select('#i')[0]
print(cls.string)
print(cls.get_text())
print(cls.name)
print(cls.attrs)
print(cls.attrs.get('id'))
print(cls.get('id'))
print(cls['class'])
结果如下图所示:

BeautifulSoup 配合 Xpath插件爬取?的产品名字
获取想要数据的步骤:先通过xpath插件获取对应的数据然后再将其转成对应的Ba4语法即可
?代码演示
import urllib.request
from bs4 import BeautifulSoup
url = "https://www.starbucks.com.cn/menu/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 '
'Safari/537.36',
}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
bs = BeautifulSoup(content, 'lxml')
# //ul[@class="grid padded-3 product"]//strong/text()
valueList = bs.select('ul[class="grid padded-3 product"] strong')
for index in valueList:
# print(index.string)
print(index.get_text())
with open('?产品名字.text', 'a', encoding='utf-8') as fs:
fs.write(index.get_text()+'\n')
如下图(爬取成功?):



最后
本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家

下篇文章再见ヾ( ̄▽ ̄)ByeBye
