NetDiscovery框架的Admin模块介绍

384 阅读1分钟

爬虫框架NetDiscovery有一个Admin模块,今天学习了一下,分享如下。

1) 技术介绍

2) 功能介绍

2.1 爬虫管理:监控爬虫引擎里爬虫的工作状态

2.2 代理管理:通过定期任务获取代理网页上的免费IP并定期清理

配置Job用的资源

配置Job

  • 服务器启动后,会把数据库里的所有Job加载到调度器(state:Normal)
  • 内置的CheckProxyJob不能删除,用来定期遍历检查ProxyPool.proxyList里的代理IP是否还有效,如果无效就删除掉

监控调度器里的Job

3) 配置运行

  • JDK8
  • Idea IDE (对我来说,比eclipse用起来更溜)
  • gradle(NetDiscovery框架优先使用gradle)
  • 参考模块代码中的application.properties
  • 创建MySql数据库 /resource/static/sql/net_admin.sql

总结,通过前端layUI和后端SpringBoot搭建了一个Web框架。然后结合quartz实现定时job的控制。

参考:https://github.com/whvcse/EasyWeb