Java爬虫入门：从网页抓取到数据提取（正则表达式篇）

  在当今信息爆炸的时代，如何从浩瀚的互联网中快速、准确地获取所需数据成为了一个重要的技能。网络爬虫技术应运而生，它允许我们自动化地访问网页并提取其中的信息。Java作为一门功能强大且拥有丰富生态的编程语言，在构建网络爬虫方面也表现出色。

很多时候，我们并不需要网页的全部内容，而仅仅是对其中符合特定格式或特征的数据感兴趣，例如：电子邮件地址、电话号码、特定商品的链接或价格、或者像本例中将要演示的——身份证号码格式的字符串。这时，强大的**正则表达式（Regular Expression）**就派上了用场。它能帮助我们定义复杂的文本匹配规则，从而在抓取到的网页源码中精确地筛选和提取出目标数据。

本文将通过一个具体的Java代码示例，演示如何结合使用Java的网络编程API（URL, URLConnection）和正则表达式库（java.util.regex），实现以下目标：

1. 连接到指定的网页URL。

2. 读取网页的HTML源代码。

3. 利用预定义的正则表达式，在源代码中查找并提取所有符合特定模式的数据（以提取类似身份证号码的18位数字串为例）。

让我们一步步深入代码，了解其工作原理。

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class RegexDemo7 {
    public static void main(String[] args) throws IOException {
        /* 扩展需求2:
            把连接中所有的号码都爬取出来。
        */

        //创建一个URL对象
        URL url = new URL("https://new.gugu**.com/sfz");
        //连接上这个网址
        //细节:保证网络是畅通
        URLConnection conn = url.openConnection();//创建一个对象去读取网络中的数据
        BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));
        String line;
        //获取正则表达式的对象pattern
        String regex = "[1-9]\\d{17}";
        Pattern pattern = Pattern.compile(regex);//在读取的时候每次读一整行
        while ((line = br.readLine()) != null) {
            //拿着文本匹配器的对象matcher按照pattern的规则去读取当前的这一行信息
            Matcher matcher = pattern.matcher(line);
            while (matcher.find()) {
                System.out.println(matcher.group());
            }
        }
        br.close();
    }
}