零基础写Java知乎爬虫之准备工作

零基础写Java知乎爬虫之准备工作

开篇我们还是和原来一样，讲一讲做爬虫的思路以及需要准备的知识吧，高手们请直接忽略。

首先我们来缕一缕思绪，想想到底要做什么，列个简单的需求。

需求如下：

1.模拟访问知乎官网（http://zhihu.com/）

2.下载指定的页面内容，包括：今日最热，本月最热，编辑sQEcxHZHy推荐

3.下载指定分类中的所有问答，比如：投资，编程，挂科

4.下载指定回答者的所有回答

5.最好有个一键点赞的变态功能（这样我就可以一下子给雷伦的所有回答都点赞了我真是太机智了！）

那么需要解决的技术问题简单罗列如下：

1.模拟浏览器访问网页

2.抓取关键数据并保存到本地

3.解决网页浏览中的动态加载问题

4.使用树状结构海量抓取知乎的所有内容

好的，目前就想了这些。

接下来就是准备工作了。

1.确定爬虫语言：由于以前写过一系列爬虫教程（点击这里），百度贴吧，糗事百科，山东大学的绩点查询等都是用python写的，所以这次决定使用java来写（喂完全没有半毛钱联系好吗）。

2.科普爬虫知识：网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页。具体的入门介绍请（点击这里）。

3.准备爬虫环境：Jdk和Eclipse的安装和配置就不多http://说啦。这里啰嗦一句，一个好用的浏览器对于爬虫来说非常重要，因为首先你需要自己浏览网页知道你需要的东西在哪里，你才能告诉你的爬虫们去哪里怎么爬。个人推荐火狐浏览器，或者谷歌浏览器，http://它们的右键审查元素和查看源代码的功能都非常强大。

下面我们开始正式的爬虫之旅！~具体讲些什么呢，恩，这是个问题，让我好好想想，别急^_^

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。