基于node下的http小爬虫的示例代码

基于node下的http小爬虫的示例代码

每时每刻不管你睡了还是没睡，互联网都会有海量的数据来来往往，有客服端到服务端，有服务端到服务端。http的get和request完成的角色即为数据的获取及提交,接下来我们动手写一个简单的小爬虫来爬爬菜鸟教程中关于node的章节的课程界面。

爬取Node.js 教程首页的所有数据

建立node-http.js,其中代码如下，代码中有详细的的注释，自行理解了哈

var http=require('http');//获取http模块

var url='http://runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量

http.get(url,function(res){

var html='';

// 这里将会触发data事件，不断触发不断跟新html直至完毕

res.on('data',function(data){

html +=data

})

// 当数据获取完成将会触发end事件，这里将会打印初node官网的html

res.on('end',function(){

console.log(html)

})

}).on('error',function(){

console.log('获取node官网相关数据出错')

})

终端执行结果中发现这个页面的html全部被爬下来了

G:\node\node-http> node node-http.js

。。。。。。。。。。

这里只展示部分不然你半天看不到头

当然爬个HTML对于我们来说没啥用，现在我们要做些过滤，比如这个node教程中我想知道课程目录有哪些，这样可以选择感兴趣的去看看学学。直接上代码吧还是：

不过在此之前我们需要下载cheerio模块（cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jquery核心实现。适合各种Web爬虫程序。）具体详细介绍你们可以自行去搜索了解，cheerio的用跟jquery的用法非常类似，所以不用担心上手繁琐。

PS G:\node\node-http> npm install cheerio

建立node-http-more.js,其中代码如下：

var http=require('http');//获取http模块

var cheerio=require('cheerio');//引入cheerio模块

var url='http://runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量

// filer node chapter

function filerNodeChapter(html){

// 将爬取得HTML装载起来

var $=cheerio.lOIopiWniVoad(html);

// 拿到左侧边栏的每个目录

var nodeChapter=$('#leftcolumn a');

//这里我希望我能获取的到的最终数据格式这个样子的,如此我们能知道每个目录的地址及标题

/**

* [{id:,title:}]

*/

var chapterData=[];

nodeChapter.each(function(item){

// 获取每项的地址及标题

var id=$(this).attr('href');

var title=$(this).text();

chapterData.push({

id:id,

title:title

})

})

return chapterData;

}

//获取每个数据

function getChapterData(nodeChapter){

nodeChapter.forEach(function(item){

console.log(' 【 '+item.id+' 】'+item.title+'\n')

});

}

http.get(url,function(res){

var html='';

// 这里将会触发data事件，不断触发不断跟新html直至完毕

res.on('data',function(data){

html +=data

})

// 当数据获取完成将会触发end事件，这里将会打印初node官网的html

res.on('end',function(){

//console.log(html)

// 过滤出node.js的课程目录

var nodeChapter= filerNodeChapter(html);

//循环打印所获取的数据

getChapterData(nodeChapter)

})

}).on('error',function(){

console.log('获取node官网相关数据出错')

})

终端执行结果及打印出课程目录

G:\node\node-http> node node-http-more.js

【 /nodejs/nodejs-tutorial.html 】

Node.js 教程

【 /nodejs/nodejs-install-setup.html 】

Node.js 安装配置

【 /nodejs/nodejs-http-server.html 】

Node.js 创建第一个应用

【 nodejs-npm.html 】 NPM 使用介绍

【 nodejs-repl.html 】 Node.js REPL

【 nodejs-callback.html 】 Node.js 回调函数

【 nodejs-event-loop.html 】 Node.js 事件循环

【 nodejs-event.html 】 Node.js EventEmitter

【 nodejs-buffer.html 】 Node.js Buffer

【 nodejs-stream.html 】 Node.js Stream

【 /nodejs/nodejs-module-system.html 】

Node.js 模块系统

。。。。。。。。。。。

这里就不全部给出，你可以自己尝试着运行操作查看所有结果

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。