使用正則表達(dá)式實(shí)現(xiàn)網(wǎng)頁(yè)爬蟲的思路詳解

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 網(wǎng)頁(yè)爬蟲:就是一個(gè)程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)
 * 
 * 
 */
public class RegexDemo {
 public static void main(String[] args) throws Exception {
 
 ListString> list=getMailByWeb();
 for(String str:list){
 System.out.println(str);
 }
 
 }
 private static ListString> getMailByWeb() throws Exception {
 
 //1.與網(wǎng)頁(yè)建立聯(lián)系。使用URL
 String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義
 URL url=new URL(path);
 //2.獲取輸入流
 InputStream is=url.openStream();
 //加緩沖
 BufferedReader br=new BufferedReader(new InputStreamReader(is));
 //3.提取符合郵箱的數(shù)據(jù)
 String regex="\\w+@\\w+(\\.\\w+)+";
 //進(jìn)行匹配
 //將正則規(guī)則封裝成對(duì)象
 Pattern p=Pattern.compile(regex);
 //將提取到的數(shù)據(jù)放到一個(gè)集合中
 ListString> list=new ArrayListString>();
 
 String line=null;
 while((line=br.readLine())!=null){
 //匹配器
 Matcher m=p.matcher(line);
 while(m.find()){
 //3.將符合規(guī)則的數(shù)據(jù)存儲(chǔ)到集合中
 list.add(m.group());
 }
 }
 
 return list;
 }
}