Scrapy是一种应用框架，实现获取网站数据、提取结构性数据。常用在数据挖掘、信息处理、存储历史数据等。

Scrapy架构

运作流程：

• 爬虫向引擎发送需要处理的url
• 引擎获得url，发送给调度器进行排队
• 调度器将处理好的requests请求发送给引擎
• 引擎将请求发送给下载器进行内容下载，下载成功后交还给引擎；下载失败的话引擎告诉调度器这个请求下载失败，一会再次下载
• 引擎将下载好的内容交给爬虫处理，爬虫处理后得到一个Item数据，如果有跟进的url，则将两个都交给引擎
• 引擎将得到的Item数据交给管道处理，将需要跟进的url交给调度器，重复之前的内容，直到调度器中没有请求，程序结束

创建一个Scrapy工程

首先安装，用命令行窗口进行安装 pip intsall scrapy

输入命令创建一个工程：scrapy startproject crawlerjob（最后的是工程名）

我的创建之后在c盘，移动到pycharm底下打开：

里面有六个文件：

 写一个爬虫

首先在items.py里面定义一个Item，用来存储获取得到的相应信息：

import scrapy


class CrawlerjobItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    position=scrapy.Field()

再cd到当前文件夹目录下，创建一个 爬虫：

scrapy genspider -t basic spider51job 51job.com
前面都是固定的，最后两个一个是爬虫名，一个是爬取范围，即访问的网站，在工程文件下可以看到新建了一个爬虫文件，爬虫逻辑都会在这个文件里写：

在parse方法中写爬虫逻辑：

    def parse(self, response):
        item=CrawlerjobItem()   #实例化一个item
        item['position']=response.xpath('//p[@class="t"]/span/@title').extract()    #执行爬虫，使用xxpath方法获取内容然后存储到iem里
        print(item['position'])

代码写完在命令行窗口输入指令：scrapy crawl spider51job，执行名为spider51job的爬虫，就能执行爬虫逻辑获取网页信息。