x-crawl
x-crawl 是新的 Nodejs 多功能爬虫库。
特征
- 只需简单的配置即可抓取页面、JSON、文件资源等等。
- 内置 puppeteer 爬取页面 ，并用采用 jsdom 库对页面解析。
- 支持 异步/同步 方式爬取数据。
- 支持 Promise/Callback 方式获取结果。
- 轮询功能，定点爬取。
- 拟人化的请求间隔时间。
- 使用 TypeScript 编写，提供泛型。
跟 puppeteer 的关系
fetchPage API 内部使用 puppeteer 库来爬取页面。
可以完成以下操作:
- 生成页面的屏幕截图和 PDF。
- 抓取 SPA（单页应用程序）并生成预渲染内容（即“SSR”（服务器端渲染））。
- 自动化表单提交、UI 测试、键盘输入等。
示例
每隔一天就获取 bilibili 国漫主页的轮播图片为例:
// 1.导入模块 ES/CJS
import xCrawl from 'x-crawl'
// 2.创建一个爬虫实例
const myXCrawl = xCrawl({
timeout: 10000, // 请求超时时间
intervalTime: { max: 3000, min: 2000 } // 控制请求频率
})
// 3.设置爬取任务
// 调用 startPolling API 开始轮询功能，每隔一天会调用回调函数
myXCrawl.startPolling({ d: 1 }, () => {
// 调用 fetchPage API 爬取 HTML
myXCrawl.fetchPage('https://www.bilibili.com/guochuang/').then((res) => {
const { jsdom } = res.data // 默认使用了 JSDOM 库解析 HTML
// 获取轮播图片元素
const imgEls = jsdom.window.document.querySelectorAll('.carousel-wrapper .chief-recom-item img')
// 设置请求配置
const requestConfig = []
imgEls.forEach((item) => requestConfig.push({ url: `https:${item.src}` }))
// 调用 fetchFile API 爬取图片
myXCrawl.fetchFile({ requestConfig, fileConfig: { storeDir: './upload' } })
})
})运行效果:
注意: 请勿随意爬取，这里只是为了演示如何使用 x-crawl ，并将请求频率控制在 3000ms 到 2000ms 内。
仓库地址
如果对您有帮助，请点个 Star 支持一下。