阅读 35

还在付费抓取数据,你out了!

经常在我的微信群或知识星球里面听到小伙伴问,涛哥,微信公众号文章怎么抓取啊?有没有什么现成的工具啊?这个时候我一般介绍一点儿抓公众号的思路,介绍抓取的常用的Python工具库,让小伙伴自己操作。

因为我知道的现成工具都是直接找第三方付费工具进行处理,当然代价就是需要花费几百元。

所以在我心里一直知道这个事情没有被很好的解决,直到最近发现的一个爬虫抓取工具。

这个工具叫 weixin_crawler,目前项目在github上面有1900+ 关注

项目地址 github.com/wonderfulsu…

weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的微信公众号文章爬虫,自带分析报告(报告样例)和全文检索功能,几百万的文档都能瞬间搜索。

从作者使用的工具技术我们能看到这是一个起点很高的项目,无论是前端技术还是后端技术,都是目前较为流行实用的。那些找不到项目进行练手的,可以考虑把里面的DB存储从Mongodb非关系型数据库改为MySQL。

希望对大家有帮助。

最后放上一张效果图:

关注下面的标签,发现更多相似文章
评论