java爬虫模拟登陆的实例详解

java爬虫模拟登陆的实例详解

使用jsoup工具可以解析某个URL地址、HTML文本内容，是java爬虫很好的优势，也是我们在网络爬虫不可缺少的工具。本文带领大家使用jsoup 实现java爬虫模拟登陆，通过省力的API，很好的实现java爬虫模拟登陆。

一、使用工具：Jsoup

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，css以及类似于jquery的操作方法来取出和操作数据。

二、实现java爬虫模拟登陆

1、确定想要爬取的url

import java.io.BufferedWriter;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.OutputStreamWriter;

import java.util.Map.Entry;

import java.util.Set;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

public class SplitTable {

public static void main(String[] args) throws IOException {

//想要爬取的url

String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?

Ves632DSdyV=NEW_XSD_PYGL";

String username = "";

String password = "";

String sessionId = getSessionInfo(username,password);

spiderWebSite(sessionId,url);

}

2、获取sessionId

private static String getSessionInfo(String username,String password)

throws IOException{

3、登录网站，返回sessionId信息

Connection.Response res = Jsoup.connect(http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk)

4、获得sessionId

String sessionId = res.cookie("JSESSIONID");

System.out.println(sessionId);

return sessionId;

}

5、爬取内容

private static void spiderWebSite(String sessionId,String url) throws IOException{

//爬取

Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();

Element table = doc.getElementById("kbtable");

//System.out.println(table);

BufferedWriter bw = new BufferedWriter

(new OutputStreamWriter(new FileOutputStream("F:/table.html")));

bw.write(new String(table.toString().getBytes()));

bw.flush();

bw.close();

}

}

实例代码扩展：

import java.io.IOException;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

import org.jsoup.Connection;

import org.jsoup.Jsoup;

import org.jsoup.Connection.Method;

import org.jsoup.Connection.Response;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

public class LoginDemo {

public static void main(String[] args) throws Exception {

LoginDemo loginDemo = new LoginDemo();

loginDemo.login("16xxx20xxx", "16xxx20xxx");// 用户名，和密码

}

/**

* 模拟登陆座位系统

* @param userName

* 用户名

* @param pwd

* 密码

*

* **/

public void login(String userName, String pwd) throws Exception {

// 第一次请求

Connection con = Jsoup

.connect("http://lib?3;?.?????????.aspx");// 获取连接

con.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器

Response rs = con.execute();// 获取响应

DocGIFMQxQTKMument d1 = Jsoup.parse(rs.body());// 转换为Dom树

List et = d1.select("#form1");// 获取form表单，可以通过查看页面源码代码得知

// 获取，cooking和表单属性，下面map存放post时的数据

Map datas = new HashMap<>();

for (Element e : et.get(0).getAllElements()) {

//System.out.println(e.attr("name")+"----Little\n"http://);

if (e.attr("name").equals("tbUserName")) {

e.attr("value", userName);// 设置用户名

}

if (e.attr("name").equals("tbPassWord")) {

e.attr("value", pwd); // 设置用户密码

}

if (e.attr("name").length() > 0) {// 排除空值表单属性

datas.put(e.attr("name"), e.attr("value"));

}

}

/**

* 第二次请求，post表单数据，以及cookie信息

*

* **/

Connection con2 = Jsoup

.connect("http://lib???.?????????.aspx");

con2.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");

// 设置cookie和post上面的map数据

Response login = con2.ignoreContentType(true).method(Method.POST)

.data(datas).cookies(rs.cookies()).execute();

// 登陆成功后的cookie信息，可以保存到本地，以后登陆时，只需一次登陆即可

Map map = login.cookies();

//下面输出的是cookie 的内容

for (String s : map.keySet()) {

System.out.println(s + "=====-----" + map.get(s));

}

System.out.println(login.body());

/**

* 登录之后模拟获取预约记录

*

* */

Connection con_record = Jsoup

.connect("http://lib???.?????????.aspx");// 获取连接

con_record.header("User-Agent",

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");// 配置模拟浏览器

con_record.cookies(datas);

Response record = con_record.ignoreContentType(true)

.method(Method.GET)

.cookies(rs.cookies())

.execute();

System.out.println(record.body());

}

}

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。