Python爬虫之lxml&&BeautifulSoup库基本使用

发布于:2022-08-04 ⋅ 阅读:(563) ⋅ 点赞:(0)

​

活动地址:CSDN21天学习挑战赛

以下是关于lxml&&BeautifulSoup库的使用
? 点击跳转到上一篇续文?
?快,跟我一起爬起来?
?????
?????
?????
?????
爬虫越爬越爽

简介?

简单理解:(简单爬虫是爬取整个页面的内容)解析就是通过某种方法去得到我们想要的数据而不是全部都要。

请添加图片描述

解析的几种方法?

  1. path
  2. JsonPath 点击跳转至JsonPath相关使用
  3. BeautifulSoup
  4. 正则表达式

lxml库的使用✍

安装Xpath Helper插件

Xpath Helper插件的作用:可以让我们高效解析网页内容
Xpath Helper插件安装包链接:点击跳转至GitHub

安装插件步骤:
(1)打开chrome浏览器
(2)点击右上角小圆点
(3)更多工具
(4)扩展程序
(5)拖拽xpath插件到扩展程序中
(6)关闭浏览器重新打开
(7)ctrl + shift + x
(8)出现小黑框

如下图(安装成功?):

请添加图片描述

在这里插入图片描述
在这里插入图片描述

lxml库的使用

W3c中文官方:点击跳转?
官方:点击跳转?

使用步骤:

  1. 安装lxml库
    pip install lxml ‐i
  2. 导入lxml.etree
    from lxml import etree
  3. etree.parse() 解析本地文件
    result = etree.parse(‘xxx.html’)
  4. etree.HTML() 服务器响应文件
    result = etree.HTML(response.read().decode(‘utf‐8’)
  5. result .xpath(xpath路径)

?xpath常用表达式(太多就不一一列出用到的时候可以去中文官方查看就可以了):

表达式 描述
nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
… 选取当前节点的父节点
@ 选取属性
* 通配符,选择所有元素节点与元素名
@* 选取所有属性
[@attrib] 选取具有给定属性的所有元素 如://@class
[@attrib=‘value’] 选取给定属性具有给定值的所有元素 如://div[@id=“maincontent”] 或 //div[@id]
[tag] 选取所有具有指定元素的直接子节点
[tag=‘text’] 选取所有具有指定元素并且文本内容是text节点
模糊查询 //div[contains(@id, “he”)] 或 //div[starts‐with(@id, “he”)]
内容查询 //div/h1/text()
逻辑运算 //div[@id=“head” and @class=“s_down”] 或 //title

lxml库之Xpath(解析本地文件)的简单使用

?模拟被解析的数据如下:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"/> //这里必须加(/ )严格安装Html
    <title>python之lxml库</title>
</head>
<body>
<ul>
    <li id="goba" class="goba4">我是lxml</li>
</ul>
<ul>
    <li id="goba1">我是lxml~</li>
</ul>
<ul>
    <li class="goba3">我是lxml~~</li>
</ul>
<span>
    <ul>
    <li class="goba4">书属</li>
    </ul>
</span>
</body>
</html>

?代码演示

from lxml import etree
tree = etree.parse('index.html')

list1 = tree.xpath('body/ul/li/text()')
list2 = tree.xpath('//ul/li/text()')
list3 = tree.xpath('//ul/li[@id]/text()')
list31 = tree.xpath('//ul/li[@id="goba"]/text()')
list4 = tree.xpath('//ul/li[@class]/text()')
list41 = tree.xpath('//ul/li[@class="goba4"]/text()')
list5 = tree.xpath('//ul/li[contains(@class,"go")]/text()')
list51 = tree.xpath('//ul/li[starts-with(@id,"go")]/text()')
list6 = tree.xpath('//ul/li[@id="goba" or @class="goba4"]/text()')
list61 = tree.xpath('//ul/li[@id="goba" and @class="goba4"]/@class')
print(list1)
print(list2)
print(list3)
print(list31)
print(list4)
print(list41)
print(list5)
print(list51)
print(list6)
print(list61)

结果如下图所示:

在这里插入图片描述

lxml库之Xpath(解析爬取的文件)&& Xpath插件的简单使用

通过xpath获取想要的数据如://input[@id=“su”]/@value(获取?一下的文字)

在这里插入图片描述

?代码演示

import urllib.request

url = 'https://www.baidu.com/'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 '
                  'Safari/537.36',
}

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

print(request.get_full_url())

content = response.read().decode('utf-8')

# 获取网页数据解析我们想要的数据
from lxml import etree

# 解析服务器响应的数据 这里就使用Xpath插件了 通过xpath验证通过 //input[@id="su"]/@value可以拿到?一下
result = etree.HTML(content)

resultS = result.xpath('//input[@id="su"]/@value')[0]

print(resultS)

如下图所属(获取数据成功?):

在这里插入图片描述

lxml库之Xpath(解析爬取的文件)&& Xpath插件的简单使用 && 下载图片

步骤如?图:

在这里插入图片描述

在这里插入图片描述

?代码演示

import urllib.request
from lxml import etree

def create_request(page):
    # 因为接口一和其他接口不一样这里做判断
    if page == 1:
        url = 'https://sc.chinaz.com/tupian/xiaomaotupian.html'
    else:
        url = 'https://sc.chinaz.com/tupian/xiaomaotupian_' + str(page) + '.html'

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/102.0.0.0 Safari/537.36',
    }
    # 模拟服务器发送请求
    request = urllib.request.Request(url=url, headers=headers)

    return request


def get_get_content(request):
    # 获取数据
    response = urllib.request.urlopen(request)

    content = response.read().decode('utf-8')

    return content


def download(content):
    # 下载我们需要链接、文件名和文件夹名
    # urllib.request.urlretrieve(链接、文件夹名或文件路径)
    # // // div[ @ id = "container"] //a/@alt
    # // div[ @ id = "container"] // a // img / @ src
    result = etree.HTML(content)
    listName = result.xpath('// div[ @ id = "container"] //a/@alt')
    listSrc = result.xpath('// div[ @ id = "container"] // a // img / @ src')

    for index in range(len(listName)):
        imgName = listName[index]
        imgSrc = 'http:' + listSrc[index]

        print('下载成功:'"宠物的姓名"+imgName+"宠物的链接"+imgSrc)

        urllib.request.urlretrieve(imgSrc, filename='./小猫文件/' + imgName + '.jpg')


if __name__ == '__main__':
    startPage = int(input("其输入开始页"))
    endPage = int(input("其输人结束页"))
    for page in range(startPage, endPage + 1):
        # 1、请求对象的定制
        request = create_request(page)
        # 2、获取网页的源码
        content = get_get_content(request)
        # 3、下载内容
        download(content)

如下图(爬取成功?):

请添加图片描述

分享几张爬到的图片:

BeautifulSoup库的使用

官方:点击跳转?

使用步骤:

  1. 安装BeautifulSoup库
    pip install bs4
  2. 导入BeautifulSoup
    from bs4 import BeautifulSoup
  3. etree.parse() 解析本地文件
    result= BeautifulSoup(open(‘1.html’), ‘lxml’)
  4. etree.HTML() 服务器响应文件
    result= BeautifulSoup(response.read( ,decode()), ‘lxml’)

⚠注意:默认打开文件的编码格式gbk所以需要指定打开编码格式

?ba4常见表达式:

result= BeautifulSoup(open(‘1.html’), decode(),‘lxml’)

  1. 节点定位
    1. 根据标签名查找节点
    result.a【注】 只能找到第一个a
    result.a.name //
    result.a.attrs //获取标签的属性和属性值
    2. 函数
    (1).find(返回一个对象)
    find(‘a’):只找到第一个a标签
    find(‘a’, title = ‘名字’)
    find(‘a’, class_ = ‘名字’)

       (2).find_all(返回一个列表)
           find_all('a') 查找到所有的a
           find_all(['a', 'span']) 返回所有的a和span
           find_all('a', limit = 2) 只找前两个a
           
       (3).select(根据选择器得到节点对象)【推荐】
           1. element
           eg: p
           2..class
           eg: .firstname
           3.# id
           eg: #firstname
           4. 属性选择器
               [attribute]
           eg: li = result.select('li[class]')[attribute = value]
           eg: li = result.select('li[class="hengheng1"]')
           5. 层级选择器
            5.1、element element
                div p
            5.2、element > element
                div > p
            5.3、element, element
               div, p
           eg: result = result.select('a,span')
    
  2. 节点信息
    (1).获取节点内容: 适用于标签中嵌套标签的结构
    obj.string
    obj.get_text()【推荐】
    (2).节点的属性
    tag.name 获取标签名
    eg: tag = find('li)
    print(tag.name)
    tag.attrs将属性值作为一个字典返回
    (3).获取节点属性
    obj.attrs.get(‘title’)【常用】
    obj.get(‘title’)
    obj[‘title’]

?模拟被解析的数据如下:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<a>小明</a>
<a>小明s</a>
<a class="cls" title="tie">小明</a>
<span id="i" class="i">
           <a>喝个痛快</a>
</span>
</body>
</html>

?代码演示

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('加载本地文件.html', encoding='utf-8'), 'lxml')

cls = soup.find('a', class_='cls')
cls = soup.find('a', title='tie')

cls = soup.find_all('a', class_='cls')

cls = soup.select('a[class=cls]')

cls=soup.select('span a')
cls=soup.select('span>a')

cls=soup.select('#i')[0]

cls=soup.select('#i')[0]

print(cls.string)

print(cls.get_text())

print(cls.name)
print(cls.attrs)
print(cls.attrs.get('id'))
print(cls.get('id'))
print(cls['class'])

结果如下图所示:

在这里插入图片描述

BeautifulSoup 配合 Xpath插件爬取?的产品名字

获取想要数据的步骤:先通过xpath插件获取对应的数据然后再将其转成对应的Ba4语法即可

?代码演示

import urllib.request
from bs4 import BeautifulSoup

url = "https://www.starbucks.com.cn/menu/"

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 '
                  'Safari/537.36',
}

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

bs = BeautifulSoup(content, 'lxml')
# //ul[@class="grid padded-3 product"]//strong/text()

valueList = bs.select('ul[class="grid padded-3 product"] strong')

for index in valueList:
    # print(index.string)
    print(index.get_text())
    with open('?产品名字.text', 'a', encoding='utf-8') as fs:
        fs.write(index.get_text()+'\n')

如下图(爬取成功?):

请添加图片描述

在这里插入图片描述

请添加图片描述

最后

本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家

点击跳转到我的Python专栏

在这里插入图片描述

下篇文章再见ヾ( ̄▽ ̄)ByeBye

请添加图片描述


微信公众号

今日签到

点亮在社区的每一天
去签到