《使用 superagent 与 cheerio 完成简单爬虫》

    当在浏览器中访问 时,输出 CNode( ) 社区首页的所有帖子标题和链接,以 json 的形式。

    输出示例:

    访问 时,输出包括主题的作者,

    示例:

    1. 学习使用 superagent 抓取网页

    本来想教大家怎么爬 github 的 api 的,但是 github 有 rate limit 的限制,所以只好牺牲一下 CNode 社区(国内最专业的 Node.js 开源技术社区),教大家怎么去爬它了。

    我们这回需要用到三个依赖,分别是 express,superagent 和 cheerio。

    先介绍一下,

    superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库,可以发起 get 或 post 请求。

    还记得我们怎么新建一个项目吗?

    1. 新建一个文件夹,进去之后
    2. 安装依赖

    我们应用的核心逻辑长这样

    OK,一个简单的爬虫就是这么简单。这里我们还没有利用到 Node.js 的异步并发特性。不过下两章内容都是关于异步控制的。

    记得好好看看 superagent 的 API,它把链式调用的风格玩到了极致。