爬虫(三)-客户端爬取Android SDK发布

5,576 阅读2分钟

通过前两篇文章,我们深入论述了后台爬取的痛点,同时提出了对客户端方案可行性的思考。今天我们就来介绍一下全球第一个客户端爬取平台,今天我们来揭开它的神秘面纱!

前两篇文章:
一篇文章了解爬虫技术现状
爬虫技术(二)-客户端爬虫

DSpider平台

DSpider是客户端爬取平台台,官网地址:dspider.dtworkroom.com/,如官网说述, DSpider主要由云管理平台、sdk、爬虫商店三部分组成,我们简单说明一下这三者的各自职责:

云管理平台

dSpider的爬取脚本是动态下发的,云管理平台主要用于配置脚本参数、更新脚本、统计脚本爬取状态、错误分析等。如果你是开发者,那么云管理平台同时也是发布、管理自己脚本的地方。

SDK

sdk负责从云端请求脚本然后执行,最后将爬取结果传给第三方APP. (官方提供了ios和android的sdk,但目前只开放了android sdk)。

爬虫商店

类似于应用商店,是一个爬虫仓库,开发者可以在里面挑选所需的脚本,也可以将自己的脚本发布到爬虫商店

集成到APP

我们以android为例,官方提供了完整的文档及demo:
Android集成文档:dspider.dtworkroom.com/document/an…
Android demo:github.com/wendux/DSpi…

我们先来看看官方demo的运行效果:

demo

显式爬取

爬取简书主页所有文章标题和链接:

爬取进度

爬取结果

隐式爬取(静默)

隐式爬取没有进度条,demo中弹出了一个loading窗作为指示:

隐式爬取

爬取脚本

爬取脚本非常简单,我们看看爬取简书的脚本:

/**
 * Created by du on 16/11/21.
 */
dSpider("jianshu", function(session,env,$){
    session.showProgress();
    var $items=$("div.title");
    var count=$items.length;
    session.log("共"+count+"条");
    session.setProgressMax(count)
    session.setProgressMsg("正在初始化");
    var i=0;
   //模拟进度,每隔200ms向端上传递一次数据
    var timer=setInterval(function(){
      session.setProgress(i+1);
      var title=$items.eq(i).text();
      session.setProgressMsg(title);
      session.push({title:title, url:$items.eq(i).parent().attr("href")});
      if(++i>=count){
       clearInterval(timer);
       session.finish();
      }
    },200);
})

可见爬取脚本非常简单:用jquery解析网页,然后再通过session对象和native 进行交互。详细的API文档请移步dSpider Javascript API文档

注意事项

  1. 集成前需要去官网注册,登录后要先创建应用
  2. 创建应用成功后会得到appid, sdk中需要。
  3. 应用创建之后需要给应用手动添加所需的爬虫;系统默认会给每个新建的应用添加sid为1的测试爬虫,该爬虫信息:dspider.dtworkroom.com/spider/1;
  4. sid为每一个爬虫的id, 在后台创建爬虫后会得到sid. 你也可以去脚本商店选择。