• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

nodeJs爬虫小程序练习

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

//爬虫小程序

	var express = require('express');
	//superagent是一个http的库,可以发起get和post请求
	var superagent = require('superagent');
	//cheerio是一个类似于jquery的库,用来从网页中以css 选择器取数据,
	//使用方式和jquery相同
	var cheerio = require('cheerio');
	
	var app = express();
	
	app.get('/', function(req, res, next){
	    superagent.get('https://cnodejs.org/')
	    .end(function(err,sres){
	    	//常规错误处理
	    	if(err){
	    		return next(err);
	    	}
	    	var $ = cheerio.load(sres.text);
	    	var items = [];//数组
	        $('#topic_list .topic_title').each(function(idx, element){
	        	var $element = $(element);
	        	items.push({
	        		title: $element.attr('title'),
	        		href: $element.attr('href')
	        	});
	        });
	
	        res.send(items);
	    });
	});
	
	app.listen(3000,function(req,res){
	    console.log('app is run at port 3000');
	});
  • SuperAgent是轻量级的渐进式ajax API,灵活性高,可读性高。可以通过调用request对象上的适当方法.end()来启动请求,然后调用发送请求。例如一个简单的GET请求:

       request
         .get('/search')
         .end(function(err, res){
      
         });

鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap