HttpClient + Jsoup模拟登录教务处并获取课表
1、概述
最近想做一个校园助手类的APP，由于第一次做，所以打算先把每个功能单独实现，防止乱了阵脚。利用教务处登录获取课表和成绩等是一个基本功能，所以以获取课表为例实现了这个功能。完整代码点这里，尝试了好几次的，所以写的比较乱。
2、涉及的关键知识
首先，明确获取课表的流程：其实，获取课表就是让手机模拟浏览器，给服务器传去账号、密码，然后服务器会返回cookies（不懂自行百度），利用cookie就可以穿梭自如了，比如查课表。但是，浏览器登录时，返回的html文件浏览器是会自动解析成网页展现在我们面前的，但是APP就不行了，所以需要我们自己从html字符流中解析出我们需要的信息。就我自己的情况来看，模拟登录花了不少时间（这方面很不熟），解析html很快就解决了（可能是之前实践偶解析JSON）。
这样一个APP主要涉及到3个重要知识点：
1、如何模拟登录：java有自己的HttpURLConnection，但是不够灵活，所以用 apache的HttpClient更方便
2、如何解析HTML：网上查一下，Jsoup很合适。
3、AsyncTask：显然获取网页并解析是不能再主线程进行的，所以需要使用异步任务。
4、回调函数：这个不是必须的，但是我为了降低程序耦合度把网络请求那部分单独成了一个类，这时候更新主UI就需要利用回调函数了，之后细说。
3、模拟登陆（以窝工UPR为例）
1、解析教务处登录界面，看到一些教程用的还是HttpWatch，确实过时了，显然直接Google浏览器F12就行了。如下图，选择Network
点一下登录，就可以看到一大堆信息，我们需要的是第一个：
点击就可以看到详细信息了：
重要的有两个，Cookie，拿到这个我们才能导出去访问，Form Data就是模拟登录时要提交（POST）的表单数据；
4、HTML解析
利用上一步模拟登录拿到的Cookie就可以去获取课表了，同理，需要解析网页，如下，点击我的课表
可以看到一大堆信息，找到需要的
这个Response就是会返回我们的字符流，我们需要的就是解析它，设计到Jsoup的详细使用就不细说了，自己也是今天才接触，
总之借助以上两步就可以写出主要类Login.java的代码了，如下：
1 package com.example.upr.net;
2
3 import java.io.BufferedReader;
4 import java.io.IOException;
5 import java.io.InputStream;
6 import java.io.InputStreamReader;
7 import java.io.UnsupportedEncodingException;
8 import java.util.ArrayList;
9 import java.util.List;
10
11 import org.apache.http.HttpEntity;
12 import org.apache.http.HttpResponse;
13 import org.apache.http.NameValuePair;
14 import org.apache.http.client.ClientProtocolException;
15 import org.apache.http.client.HttpClient;
16 import org.apache.http.client.entity.UrlEncodedFormEntity;
17 import org.apache.http.client.methods.HttpGet;
18 import org.apache.http.client.methods.HttpPost;
19 import org.apache.http.cookie.Cookie;
20 import org.apache.http.impl.client.AbstractHttpClient;
21 import org.apache.http.impl.client.DefaultHttpClient;
22 import org.apache.http.message.BasicNameValuePair;
23 import org.jsoup.Jsoup;
24 import org.jsoup.nodes.Document;
25 import org.jsoup.nodes.Element;
26 import org.jsoup.select.Elements;
27
28 import com.example.upr.CompleteListener;
29
30 import android.R.integer;
31 import android.os.AsyncTask;
32 import android.provider.ContactsContract.Contacts.Data;
33 import android.util.Log;
34 import android.widget.Toast;
35
36 public class Login extends AsyncTask<Void, Void, String[][]>{
37
38 private String zjh;
39 private String mm;
40 private String webPage;
41 private String [][] kebiao = new String[15][8];
42 private CompleteListener listener;
43 public Login(String account, String password, CompleteListener listener) {
44 zjh = account;
45 mm = password;
46
47 this.listener = listener;
48 }
49 @Override
50 protected String[][] doInBackground(Void... arg0) {
51 List<NameValuePair> list = new ArrayList<NameValuePair>();
52 list.add(new BasicNameValuePair("zjh", zjh));
53 list.add(new BasicNameValuePair("mm", mm));//表单信息
54 String encode = "gb2312";//编码格式，从F12工具中可以找到
55 HttpClient httpClient = new DefaultHttpClient();
56 List<Cookie> cookies;
57 try {
58 HttpEntity entity = new UrlEncodedFormEntity(list ,encode);//封装数据
59 HttpPost post = new HttpPost(com.example.upr.Constant.LOGIN_URL);//建立POST请求
60 post.setEntity(entity);
61 HttpResponse httpResponse = httpClient.execute(post);
62 String data, result;
63 if (httpResponse.getStatusLine().getStatusCode() == 200) {//登录成功
64 cookies = ((AbstractHttpClient) httpClient).getCookieStore().getCookies();//获取Cookie
65 HttpGet httpGet = new HttpGet("http://zhjw.dlut.edu.cn/xkAction.do?actionType=6");
66 httpGet.setHeader("Cookie", "JSESSIONID="+ cookies.get(0).getValue()+";"+
67 "NSC_kjbpxv-iuuq="+cookies.get(1).getValue());//注意分号
68 httpResponse = new DefaultHttpClient().execute(httpGet);
69
70 StringBuffer sb = new StringBuffer();
71 entity = httpResponse.getEntity();
72 InputStream inputStream = entity.getContent();
73 BufferedReader br = new BufferedReader(new InputStreamReader(inputStream, encode));
74 while ((data = br.readLine()) != null) {
75 sb.append(data); //读取返回的网页
76 }
77 result = sb.toString();
78 webPage = result;
79
80 } else {
81 return null;
82 }
83 } catch (UnsupportedEncodingException e) {
84 e.printStackTrace();
85 return null;
86 } catch (ClientProtocolException e) {
87 // TODO Auto-generated catch block
88 e.printStackTrace();
89 return null;
90 } catch (IOException e) {
91 // TODO Auto-generated catch block
92 e.printStackTrace();
93 return null;
94 }
95
96 Document document = Jsoup.parse(webPage);
97 if (document != null) {
98 Element element = document.getElementById("user");//通过id直接定位到数据
99 Elements trElements = element.select("tr");
100 //以下是提取课表信息，每个网站不同，一下代码要解析的html放在最下面了
101 for (int i = 0; i < trElements.size(); i++) {
102 Elements tdElements = trElements.get(i).select("td");
103 for (int j = 0; j < tdElements.size(); j++) {
104 String text = tdElements.get(j).text();
105 if (tdElements.size() == 1) {
106 continue;
107 } else if (tdElements.size()==9) {
108 if (j != 0) {
109 kebiao[i][j-1] = text;
110 }
111 }else {
112 kebiao[i][j] = text;
113 }
114
115 }
116 }
117 return kebiao;
118 } else {
119 return null;
120 }
121
122 }
123 @Override
124 protected void onPostExecute(String[][] result) {
125 super.onPostExecute(result);
126 listener.onConnectFinish(result);//执行回调函数，更新主UI
127 }
128 }
129 /*
130 <table cellpadding="0" width="100%" class="displayTag" cellspacing="0" border="1" id="user">
131 <tr>
132 <td colspan="2" class="sortable"> </td>
133 <td width="13%" class="sortable">
134 <div align="center">星期一</div></td>
135 <td width="13%" class="sortable">
136 <div align="center">星期二</div></td>
137 <td width="13%" class="sortable">
138 <div align="center">星期三</div></td>
139 <td width="13%" class="sortable">
140 <div align="center">星期四</div></td>
141 <td width="13%" class="sortable">
142 <div align="center">星期五</div></td>
143 <td width="13%" class="sortable">
144 <div align="center">星期六</div></td>
145 <td width="13%" class="sortable">
146 <div align="center">星期日</div></td>
147 </tr>
148 <tr bgcolor="#FFFFFF">
149 <td width="3%" rowspan="4">
150 <p class="style4">上午</p></td>
151 <td width="11%">第1节(08:00-08:45)</td>
152 <td> 计算机网络A_01(西部校区综合教学2号楼B406)
153 <br></td>
154 <td> </td>
155 <td> </td>
156 <td> 编译原理_01(校部综合教学1号楼综151)
157 <br></td>
158 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)
159 <br></td>
160 <td> </td>
161 <td> </td></tr>
162 <tr bgcolor="#FFFFFF">
163 <td width="11%">第2节(08:50-09:35)</td>
164 <td> 计算机网络A_01(西部校区综合教学2号楼B406)
165 <br></td>
166 <td> </td>
167 <td> </td>
168 <td> 编译原理_01(校部综合教学1号楼综151)
169 <br></td>
170 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)
171 <br></td>
172 <td> </td>
173 <td> </td></tr>
174 <tr bgcolor="#FFFFFF">
175 <td width="11%">第3节(10:05-10:50)</td>
176 <td> </td>
177 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
178 <br></td>
179 <td> </td>
180 <td> 人工智能_01(西部校区综合教学2号楼A101)
181 <br></td>
182 <td> </td>
183 <td> </td>
184 <td> </td></tr>
185 <tr bgcolor="#FFFFFF">
186 <td width="11%">第4节(10:55-11:40)</td>
187 <td> </td>
188 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
189 <br></td>
190 <td> </td>
191 <td> 人工智能_01(西部校区综合教学2号楼A101)
192 <br></td>
193 <td> </td>
194 <td> </td>
195 <td> </td>
196 <tr bgcolor="#FFFFFF">
197 <td colspan="9">
198 <p align="center" class="td2 style5">
199 <strong>午 休</strong></p>
200 </td>
201 </tr>
202 </tr>
203 <tr bgcolor="#FFFFFF">
204 <td width="3%" rowspan="4">
205 <p class="style4">下午</p></td>
206 <td width="11%">第5节(13:30-14:15)</td>
207 <td> 编译原理_01(校部综合教学1号楼综151)
208 <br></td>
209 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)
210 <br></td>
211 <td> </td>
212 <td> 计算机网络A_01(西部校区综合教学2号楼B406)
213 <br></td>
214 <td> </td>
215 <td> </td>
216 <td> </td></tr>
217 <tr bgcolor="#FFFFFF">
218 <td width="11%">第6节(14:20-15:05)</td>
219 <td> 编译原理_01(校部综合教学1号楼综151)
220 <br></td>
221 <td> 计算机组成原理_01(西部校区综合教学2号楼B103)
222 <br></td>
223 <td> </td>
224 <td> 计算机网络A_01(西部校区综合教学2号楼B406)
225 <br></td>
226 <td> </td>
227 <td> </td>
228 <td> </td></tr>
229 <tr bgcolor="#FFFFFF">
230 <td width="11%">第7节(15:35-16:20)</td>
231 <td> 人工智能_01(西部校区综合教学2号楼A101)
232 <br></td>
233 <td> </td>
234 <td> </td>
235 <td> </td>
236 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
237 <br></td>
238 <td> </td>
239 <td> </td></tr>
240 <tr bgcolor="#FFFFFF">
241 <td width="11%">第8节(16:25-17:10)</td>
242 <td> 人工智能_01(西部校区综合教学2号楼A101)
243 <br></td>
244 <td> </td>
245 <td> </td>
246 <td> </td>
247 <td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
248 <br></td>
249 <td> </td>
250 <td> </td>
251 <tr bgcolor="#FFFFFF">
252 <td colspan="9">
253 <p align="center" class="td2 style5">
254 <strong>晚 饭</strong></p>
255 </td>
256 </tr>
257 </tr>
258 <tr bgcolor="#FFFFFF">
259 <td width="3%" rowspan="4">
260 <p class="style4">晚上</p></td>
261 <td width="11%">第9节(18:00-18:45)</td>
262 <td> 社会学*_886(校部综合教学1号楼综152)
263 <br></td>
264 <td> 人类文明史*_887(校部材料馆材101)
265 <br></td>
266 <td> </td>
267 <td> </td>
268 <td> </td>
269 <td> </td>
270 <td> </td></tr>
271 <tr bgcolor="#FFFFFF">
272 <td width="11%">第10节(18:55-19:40)</td>
273 <td> 社会学*_886(校部综合教学1号楼综152)
274 <br></td>
275 <td> 人类文明史*_887(校部材料馆材101)
276 <br></td>
277 <td> </td>
278 <td> </td>
279 <td> </td>
280 <td> </td>
281 <td> </td></tr>
282 <tr bgcolor="#FFFFFF">
283 <td width="11%">第11节(19:50-20:35)</td>
284 <td> 社会学*_886(校部综合教学1号楼综152)
285 <br></td>
286 <td> 人类文明史*_887(校部材料馆材101)
287 <br></td>
288 <td> </td>
289 <td> </td>
290 <td> </td>
291 <td> </td>
292 <td> </td></tr>
293 <tr bgcolor="#FFFFFF">
294 <td width="11%">第12节(20:45-21:30)</td>
295 <td> </td>
296 <td> </td>
297 <td> </td>
298 <td> </td>
299 <td> </td>
300 <td> </td>
301 <td> </td></tr>
302 </table>
303
304 */
View Code
5、关于回调函数的使用
这一部分之前完全没预料到，只是后来才发现，不用内部类，想更新UI就得用回调函数，其更深层次的思想是一种设计模式，还是自己学的太少！知识使用完全浮于表面。
6、Demo演示
7、总结
零零散散花了不少时间，一来确实第一次做类似工作，二来自己习惯非常不好，对于新工具，研究API和即学即用能力不强。明天应该好好研究一下HttpClient和Jsoup，达到熟练抓取各种网页的目的！毕竟这只是开始！现在的学习状态实在太低效了。
以上。
