我的 Python 网络爬虫直播分享要来了!

2,651 阅读7分钟

开篇之前先提一下上周日的事情。


上周日的时候我参加了北京站的 PyCon China 2018 开发者大会,PyCon 大家知道的吧!就是 Python 界最大的技术开发者大会,会上会有很多 Python 开发者分享自己的相关开发经验,开发者主要来自欧美国家,而 PyCon China 就是中国区的 PyCon,面向的人群则是我们中国的 Python 开发者。

Python China 之前已经连续成功举办过 7 届了,今年是第 8 届,大家有兴趣可以到 PyCon China 的官网(http://cn.pycon.org)来看下。北京站是在 10.14 已经结束了,接下来还有上海站、深圳站、成都站、杭州站还未开始,现在还是可以报名的。

在北京站这次 PyCon 上我也很荣幸被邀请成为讲师来做一次分享,由于我对爬虫研究较多,所以我分享的主题就是《健壮高效的网络爬虫》,从抓取、解析、存储、反爬、加速五个方面介绍了利用 Python 进行网络爬虫开发的相关知识点和技巧,介绍了不同场景下如何采取不同措施高效地进行数据抓取的方法,包括 Web抓取、App 抓取、数据存储、代理选购、验证码破解、分布式抓取及管理、智能解析等多方面的内容,另外还结合了不同场景介绍了常用的一些工具包,所有内容都是我在从事网络爬虫研究过程以来的经验精华总结。

当时拍了一张讲师牌:

周日那天我是和两位同学一起过去的,去的比较早,参加了一些小活动,拍了一些照片,然后听了上午主会场的一些技术分享,上午洪强宁老师(爱因互动创始人)、Ezio Melotti(CPython 核心开发者)、李隆老师(大疆创新测试开发负责人)分别作了精彩的报告。

我的演讲是在下午一点,所以中午我早早去吃了饭,做了些提前的准备,1 点正式开讲,当时现场大约是这个样子的:

还有这个样子的:

谢谢各位大佬为我拍的照片。

其实这是我第一次作为讲师参加这种类型的活动,之前参加过很多峰会或沙龙,但都是听众角色,从来没有讲过,所以这次也是自己的一个小小的突破。由于是第一次,所以我多多少少还是有些紧张的,不过总体看来还比较顺利,没出什么大岔子。

讲完之后有很多爬虫爱好者也都来找我交流,会下大家一起交流了很长时间。另外让我特别感动的是,还有一位来自上海的陈总(某公司爬虫 Leader)专门跑来听我的分享,和我交流完了之后他就离开去赶火车了,会下我跟他交流了很多,我也很开心自己的一些经验能够对他有些启发,让陈总此行不虚,所以我感觉还是很有成就感的。

另外那天我还做了一件想起来比较自豪的事情,那就是上午作分享的 Python 核心开发者 Ezio Melotti 交流了一下。虽然我英语不咋地,有些话说的磕磕绊绊,但是我还是硬着头皮上了。我问了他一些它负责的相关开发模块的理念,另外还跟他介绍了我的开源项目 Gerapy,另外还问了一些关于文化啊、旅游啊之类的问题,最后临走的时候还送了他一本我的爬虫书《Python3网络爬虫开发实战》,他很开心哈哈,最后还合影留念了一下。

嗯忽略这个最萌身高差吧 (*/ω\*),Melotti 神估计一米九了。

总之一天体验下来,我的收获还是非常大的,认识了很多大佬,同时也把自己的经验分享给大家。

不过,我个人的演讲还有个美中不足的地方,那就是时间有点紧,整个演讲被限制在 1 个小时,另外还要留出 15 分钟提问,所以整个的演讲时间就是 45 分钟,所以很多很多地方,我都一带而过。尤其中间我感觉内容讲了还不太到一半的时候,就被提示只剩十五分钟了,所以后面的知识点我讲的非常非常粗略,有的甚至为了节约时间都没有提,所以我想分享的很多东西都没有时间讲了。

另外本次 PyCon China 的直播貌似不是特别给力,当时直播的时候只直播了一个会场,会后的录播现在应该还在处理中,所以没有参会的朋友基本是没有听到我的演讲内容的。

所以这个周末,我会在掘金也开展一个同样主题的分享,主题还是一样的,还是《健壮高效的网络爬虫》,是在 Bilibili 直播,这次时间比较充裕,是从下午的一点到三点半,所以我会把一些知识点详细展开来说一下,另外还会留出时间来回答各种爬虫相关的问题,另外还有一些抽奖活动,送一些书之类的。

海报是这样子的:


这次的分享的内容大致和 PyCon 是类似的,由于时间更充裕了,所以一些知识我就会展开来讲了,所以内容上应该比 PyCon 上更为丰富一些~

然后重要信息来了!

需要花钱吗?

免费!免费!免费!

什么时候?

周日下午一点! 周日下午一点!周日下午一点!

怎么参加?

扫二维码报名:


扫上面的二维码或者添加微信:Lolita770,添加好友后,回复 py 报名。


报名之后会把你拉到一个群里,到时候的直播链接、抽奖活动等都会在群里发布的,敬请关注!


直播的整个流程是这样的:

13:00 预热,跟大家简单聊一聊

14:00 正式开讲,当然也有可能提前开始

15:00 抽奖,会送出书、水杯、笔记本、鼠标垫等奖品

15:30 结束,致谢


抽奖的奖品是什么?

本期奖品是由:

  • 图灵社区提供的《Python3网络爬虫开发实战》5 本

  • 掘金和 Python 之禅 提供的《基于Python实现微信公众号爬虫》小册五折码 5 份

  • 掘金提供的掘金周边掘金定制水杯、掘金定制笔记本、掘金定制鼠标垫

没图你说个毛线?


图在这:

感谢主办方掘金及合作伙伴——图灵教育、Python 之禅的大力支持!

感谢掘金!感谢图灵!感谢刘志军老师!


在这小小介绍一下:

  • 掘金: 一个帮助开发者成长的社区。

  • 图灵教育: 国内优秀的IT图书出版商。业务涵盖外版书翻译、原创书写作、在线出版、电子书销售。微信号公众号:图灵教育(turingbooks)。

  • Python之禅: 一个坚持原创的公众号,希望能给你的Python学习之路带来帮助,微信公众号: VTtalk。


图片中混入了什么奇怪的东西?那个红色的是什么玩意儿?

个人公众号:进击的Coder



没错!就是我的公众号!哈哈哈哈,求关注!

好,该说的说完了,希望大家到时候有时间的话可以过来捧捧场,也希望我的分享能够为大家带来一些收获,谢谢!