nodejs通过axios实现爬虫

发布于:2023-03-12 ⋅ 阅读:(0) ⋅ 点赞:(0)

Nodejs中的axios 是标准的DOM 解析库,采用类似于 jquery 语法的,可以直接分析数据 DOM 中的相关内容,方便简洁的进行数据采集,同时加上爬虫代理IP,能够有效避免网站限制,轻松实现数据采集。
`const axios = require('axios');
// 要访问的目标页面 const targetUrl = "http://httpbin.org/ip";
// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = 31111;
// 代理验证信息
const proxyUser = "username";
const proxyPass = "password";
var proxy = {

host: proxyHost, 
port: proxyPort, 
auth: { 
     username: proxyUser, 
     password: proxyPass 
     } 

};
axios.get(targetUrl,{proxy:proxy})

 .then(function (response) { 
 // handle success console.log(response.data); 
 }) 
 .catch(function (error) { 
 // handle error console.log(error); 
 }) 
 .finally(function () {
 // always executed 
 });`

网站公告

欢迎关注微信公众号 关注公众号领取新人福利

今日签到

点亮在社区的每一天
去签到