阅读 48

爬虫管理平台 Crawlab v0.4.9 发布(权限管理)

前言

本次更新包括几个部分:

  1. 更高级的权限管理
  2. 趣味挑战
  3. 可配置爬虫转化自定义爬虫
  4. 结果去重
  5. 任务重试

更新日志

功能 / 优化

  • 挑战. 用户可以完成不同的趣味挑战..
  • 更高级的权限控制. 更细化的权限管理,例如普通用户只能查看或管理自己的爬虫或项目,而管理用户可以查看或管理所有爬虫或项目.
  • 反馈. 允许用户发送反馈和评分给 Crawlab 开发组.
  • 更好的主页指标. 优化主页上的指标展示.
  • 可配置爬虫转化为自定义爬虫. 用户可以将自己的可配置爬虫转化为 Scrapy 自定义爬虫.
  • 查看定时任务触发的任务. 允许用户查看定时任务触发的任务. #648
  • 支持结果去重. 允许用户配置结果去重. #579
  • 支持任务重试. 允许任务重新触发历史任务.

Bug 修复

  • CLI 无法在 Windows 上使用. #580
  • 重新上传错误. #643 #640
  • 上传丢失文件目录. #646
  • 无法在爬虫定时任务标签中添加定时任务.

产品规划

  • 结果展示
    • 支持其他数据库
  • 可配置爬虫
    • 可配置爬虫支持 Splash
    • 可配置爬虫支持 CrawlSpider
    • 可配置爬虫支持正则表达式字段
  • 任务
    • 任务重试机制
  • 定时任务
    • 日历展示
  • 全局
    • 支持版本更新日志展示
  • 服务器
    • 支持终端操作 Docker 镜像
  • SDK
    • 更多命令支持
  • 插件系统

参考

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,请加作者微信 tikazyq1 并注明 "Crawlab",作者会将你拉入群。欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。

关注下面的标签,发现更多相似文章
评论