java网络爬虫可以爬什么数据(免费分享java网络爬虫实战技巧)-昊阳知识网

关键时刻，第一时间送达！

阅读本文需要5分钟底部获取全栈资源

https://blog.csdn.net/uniquewonderq/article/details/50619899#comments

引言

网络上有许多信息，我们如何自动的获取这些信息呢？没错，网页爬虫~!

在这篇博文中，我将会使用java语言一步一步的编写一个原型的网页爬虫，其实网页爬虫并没有它听起来那么难。

紧跟我的教程，我相信你会在马上学会，一个小时应该可以搞定，之后你就可以享受你所获得的大量数据。这次所编写的是最简单的教程，可以说是网页爬虫的hello
world程序，由于仅仅是原型，之后你要花更多的时间来研究并未自己来定制特定需求的爬虫。

首先，我认为你已经掌握了下面的基础知识：
　　　1.基础的java编程
　　　2.关于sql以及mysql数据库或者oracle数据库
如果你不想使用数据库的话，你可以用一个文件来将爬到的数据存储好。

一、我们的目标

给定一个学校的URL，例如“mit.edu”,返回包括字符串“research”所有的这个学校的页面。

一个经典的爬虫程序步骤：

1.解析根网页（“mit.edu”）,并从这个网页得到它所有的链接。获取每个URL并解析HTML页面，我会使用Jsoup来处理，Jsoup是一个好用而且方便的java库。

2.使用步骤1返回回来的URL，解析这些URL。

3.当我们在做上面两个步骤的时候，我们需要跟踪哪些页面是之前已经被处理了的，那样的话，每个页面只需被处理一次。这也是我们为什么需要数据库的原因了。

二、建立Mysql数据库

如果你使用的是ubuntu, 你可以使用经典的Apache, MySQL, PHP, and phpMyAdmin来操作。

如果你是用的是windows，你可以简单的使用wampServer或者SQLlog并安装，也可以使用oracle数据库，可以使用PLSQL developer工具。

这里我使用mysql sqllog工具，它是使用mysql数据化的一个可视化的GUI工具，当然你也可以使用其他的工具或者方法。

三、创建数据库以及表

创建一个数据库名为：Crawler，创建一个表，名为：Record

下面是一个oracle sql 脚本

CREATE TABLE Record (–创建表 RecordID integer NOT NULL primary key, URL varchar2(200) NOT NULL );CREATE SEQUENCE RecordID_Sequence–创建序列 INCREMENT BY 1 — 每次加几个 START WITH 1 — 从1开始计数 NOMAXVALUE — 不设置最大值 NOCYCLE; — 一直累加，不循环CREATE TRIGGER record_increase BEFORE–创建触发器insert ON Record FOR EACH ROWbeginselect RecordID_Sequence.nextval into:New.RecordID from dual;end;

如果是mysql的话，如此执行：

CREATE TABLE IF NOT EXISTS `Record` ( `RecordID` INT(11) NOT NULL AUTO_INCREMENT, `URL` TEXT NOT NULL, PRIMARY KEY (`RecordID`)) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

下图是使用pl/sql的示例图：

四、使用Java开始爬虫

如果使用oracle数据库，你需要下载oracle的JDBC驱动jar包，ojdbc14.jar包如果使用mysql数据库，那么需要下载mysql-connector-java 的jar包

3.　创建一个DB类，来处理数据库的操作。

package crawlerDemo;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class DB { public Connection conn = null; public DB() { try { Class.forName(“com.mysql.jdbc.Driver”); String url = “jdbc:mysql://localhost:3306/Crawler”; conn = DriverManager.getConnection(url, “root”, “root”); System.out.println(“conn built”); } catch (SQLException e) { e.printStackTrace(); } catch (ClassNotFoundException e) { e.printStackTrace(); } } public ResultSet runSql(String sql) throws SQLException { Statement sta = conn.createStatement(); return sta.executeQuery(sql); } public boolean runSql2(String sql) throws SQLException { Statement sta = conn.createStatement(); return sta.execute(sql); } @Override protected void finalize() throws Throwable { if (conn != null || !conn.isClosed()) { conn.close(); } } public static void main(String[] args) { new DB(); }}

4.创建一个名为“Main”的类，这个类将是我们的爬虫。

package crawlerDemo;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class Main { public static DB db = new DB(); public static void main(String[] args) throws SQLException, IOException { db.runSql2(“TRUNCATE Record;”); processPage(“http://www.mit.edu”); } public static void processPage(String URL) throws SQLException, IOException{ //检查一下是否给定的URL已经在数据库中 String sql = “select * from Record where URL = ‘” URL “‘”; ResultSet rs = db.runSql(sql); if(rs.next()){ }else{ //将uRL存储到数据库中避免下次重复 sql = “INSERT INTO `Crawler`.`Record` ” “(`URL`) VALUES ” “(?);”; PreparedStatement stmt = db.conn.prepareStatement(sql, Statement.RETURN_GENERATED_KEYS); stmt.setString(1, URL); stmt.execute(); //得到有用的信息 Document doc = Jsoup.connect(“http://www.mit.edu/”).get(); if(doc.text().contains(“research”)){ System.out.println(URL); } //得到所有的链接，并递归调用 Elements questions = doc.select(“a[href]”); for(Element link: questions){ if(link.attr(“href”).contains(“mit.edu”)) processPage(link.attr(“abs:href”)); } } }}

现在你已经得到了自己的爬虫，run一下，看看结果吧。