阅读 13766

30行js爬取顶点全网任意小说

之前连续多篇文章介绍客户端爬取平台(dspider),今天我们从零开始,实现爬取顶点小说网任意一本小说的功能。

如果你还不知道客户端爬取,可以先看下我的前几篇博客:

爬虫技术( 一) 一篇文章了解爬虫技术现状

爬虫技术(二) 客户端爬虫

爬虫技术(三)-客户端爬取Android SDK发布

客户端爬虫 ios sdk 发布了!

客户端爬取-答网友问

DSpider简介

集成sdk

dspider官方网站有详细的集成文档, 并提供了demo, 我们本节的示例基于该demo开始,请先下载相应平台的demo(github),下面是集成文档:

ios: dspider.dtworkroom.com/document/io…

android: dspider.dtworkroom.com/document/an…

如何集成、爬取文章中很详细,下面我们主要看一下如何写爬取脚本

编写爬取脚本

分析网页

由于我们爬取的手机版网站,打开顶点小说主页 m.23us.com/ ,为了简单起见,我们在进入具体小说的目录页后就开始爬取。下面以《择天记》为例:
介绍页url:m.23us.com/book/52234
我们提取特征字符串“/book/”。
目录页url: m.23us.com/html/52/522…
我们提取小说目录页url特征"html/数字/数字/"。

那么基本的爬取流程如下:

//我们将小说标题作为sessionKey
var sessionKey="小说标题"
dSpider(sessionKey, function(session,env,$){
    //在介绍页
    if(location.href.indexOf("/book/")!=-1){
       //添加爬取按钮
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {  
      //目录页自动开始爬取
    }
})复制代码

dSpider为脚本爬取的入口函数,类似于c里面的main函数,详细的请移步dspider javascript api文档

介绍页添加爬取按钮

为了启动爬取,我们在介绍页添加一个爬取按钮,原来的介绍页如下:

介绍页.png

因为在进入目录页会自动爬取,所以我们只需要将进入章节目录的按钮文字变一下,同时为了醒目,背景换成绿色。

修改后的介绍页.png

具体代码:

$(".more a").text("爬取本书").css("background","#1ca72b");复制代码

目录页爬取

  1. 在目录页我们获取所有章节的url。

    var list = $(".chapter li a");复制代码
  2. 然后通过ajax请求每一个url,获取数据并解析

     $.get(e.attr("href")).done(function (data) {
                    //获取章节名
                    var text = e.text().trim() + "\r\n";
                    //获取正文,进行格式处理
                    text+= $(data).find("#txt").html()
                           .replace(/ /g,"  ").replace(/<br>/g,"\n")+"\r\n";
                    //将数据传递给端
                    session.push(text)
     })复制代码

在爬取的时候,我们输出进度消息给端,完整的代码如下:

var sessionKey=dQuery(".index_block h1").text()
dSpider(sessionKey, function(session,env,$){
    if(location.href.indexOf("/book/")!=-1){
        $(".more a").text("爬取本书").css("background","#1ca72b");
    }else if(/.+html\/\d+\/\d+\/$/.test(location.href)) {
        log(sessionKey)
        var list = $(".chapter li a");
        session.showProgress();
        session.setProgressMax(list.length);
        var curIndex = 0
        function getText() {
            var e = list.eq(list.length-curIndex-1);
            $.get(e.attr("href")).done(function (data) {
                var text = e.text().trim() + "\r\n";
                text+= $(data).find("#txt").html()
                      .replace(/ /g," ").replace(/<br>/g,"\n")+"\r\n";
                session.push(text)
            }).always(function () {
                if (++curIndex < list.length) {
                    session.setProgress(curIndex);
                    session.setProgressMsg("正在爬取《"+sessionKey+"》 "+e.text())
                    getText();
                } else {
                    session.setProgress(curIndex);
                    session.finish();
                }
            })
        }
        getText()
    }
})复制代码

怎么样,简单强大吧!

我们看看运行效果:

Screenshot_20170330-165659.png

爬取成功后,我将数据保存在txt中,然后用qq阅读打开

目录

正文

脚本已经发布到了爬虫商店:dspider.dtworkroom.com/spider/12

集成注意事项

下载的demo默认的包名是:wendu.dspiderdemo, appid是5,这是官方账号下的app。 如果你要换包名,需要在后台先创建应用,创建好之后获得appid, 将sdk初始化时的appid换成你自己的appid,然后在爬虫商店找到“顶点小说”,然后将它添加到你的应用,这一步很重要,否则你的应用就没有执行该爬虫的权限。 我们在“顶点小说”详情页获取其id(12),然后在demo中将sid换成12就可以了。爬取的结果可以自己拼接保存在txt中。

ps:别忘了star一下哦。

关注下面的标签,发现更多相似文章
评论