Python爬虫系列--requests使用

requests是一个非常好的模拟http请求的python库，使用requests可以使得我们很方便向服务器发送请求，而不必通过浏览器。例如获取github时间轴页面数据

import requests  # python模拟Http请求库
r = requests.get('https://api.github.com/events')
r.encoding='utf-8'
print(r.text)

结果如下：

也可以使用post方法，例如模拟一个网站的登入,找一个网站登入界面，输入用户名和密码，打开浏览器控制台查看network选项，可以看到post请求格式

import requests  # python模拟Http请求库
url='http://www.hellocode.xyz/api/user/login'
params={'name':'Mango','password':'abc123'}
r=requests.post(url,data=params)
print(r.text)

此外还有一些其他属性和方法

url='http://www.hellocode.xyz/api/user/login'
params={'name':'Mango','password':'ee4d24babc4b309f91683ad8f965462cc3948c7'}
r=requests.post(url,data=params)
r.json()             # 转json
print(r.content)     # 原始套接字响应内容
print(r.text)        # 响应内容
print(r.status_code) # 响应码 200
print(r.headers) # {'Server': 'nginx/1.12.2', 'Date': 'Thu, 07 Feb 2019 11:18:24 GMT'...

更多用法可以参考： docs.python-requests.org/zh_CN/lates…