阅读 223

实战(一)之使用自带urllib和re正则表达式获取电影详情页链接

一、关于urllib库

网上urllib库的教程文章非常多而且详细具体,我就不过多叙述和重复了,个人更加倾向于将精力放在实战上,而不是反反复复拷贝教程(其实是因为我懒),来几篇干货参考。

python2:

  1. Python爬虫入门三之Urllib库的基本使用
  2. Python爬虫入门四之Urllib库的高级用法

python3:

3.python爬虫从入门到放弃(三)之 Urllib库的基本使用

正则表达式re:

1.菜鸟教程--python正则表达式

2.python爬虫从入门到放弃(五)之 正则的基本使用

二、思路:

以爬取www.ygdy8.com这个电影下载网站为例子。

1.打开浏览器,搜狗或者chrome都可以,访问该网站,以爬取最新电影这个栏目的电影为例,我们可以找到这个板块首页的url为: http://www.ygdy8.com/html/gndy/dyzz/index.html, 再点击下一页,会发现页码的url为 http://www.ygdy8.com/html/gndy/dyzz/list_23_2.html, 由此可知,每一页的url为: http://www.ygdy8.com/html/gndy/dyzz/list_23_+页数.html

image.png

2.在将鼠标移动到电影名字上右键,审查元素,这里易会发现电影详情页的链接为****

image.png
将鼠标移动到末页字眼右键,审查元素,这里会发现总共有167页。
image.png

3.根据上面的分析查找,基本可以按照这样的思路进行爬取了。

1.先请求index最新电影板块首页,获取到最大的页数。 2.循环构造页码链接,请求获取所有的带有电影列表的页面。 3.在获取到页面基础上,获得电影列表的所有电影详情页链接,为下一步提取电影的标题,迅雷链接做准备。

三、开始动手

1、构造一个urllib请求页面的opener,尽量模仿浏览器,减少被禁的风险。

# -*- coding:utf-8 -*-
#!/usr/bin  python
import urllib.request
import re
import time
import random
from decorator import fun_timer

#构建一个模仿浏览器的opener
base_url = 'http://www.ygdy8.com'
#浏览器请求头,这里用的是搜狗浏览器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;
  en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
    Headers = [ random.choice(user_agents),
            ("Connection","keep-alive") ]
    #构建opener
opener = urllib.request.build_opener()
    #添加请求头
opener.addheaders=Headers
复制代码

2、构造请求首页,获取最大页码数的方法。

# 1、获取最大的页码数
# 2、你可以到页面查看最大页码数,但是页码数是会不断增加的,
      #如果你要自动化反复去爬取,就需要进行页码数的自动获取。

def get_pageNum():
    url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
    data = opener.open(url).read()
   #上面的分析已经知道页码的链接是以 list_23_页数.html结尾的,可以匹配正则表达式来查找。
    res = re.findall(r'list\_23\_[0-9]*', str(data))
    if res:
        page_num = res[-1].split("_")[-1]
        print('获取到页码数%s'%page_num)
        return int(page_num)

复制代码

3、知道页数后,就可以循环构造链接进行爬取了。

#根据页数爬取每页的电影列表
def find_by_page(page = 1):
    if page%10==0:
       #每隔10页进行延时,防止ip被禁
        time.sleep(random.randint(1,3))
    url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
    data = opener.open(url).read()

# 正则表达式获取链接
#因为页面的左侧会有其他类别电影板块的外链,所以要先定位到class为co_content8的目标板块,
       #再获取板块里的所有链接。

    res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
    res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
    urls = [base_url + url for url in res]
    print('爬取第%s页: '%page+str(urls))
    return urls


#汇总所有的列表,上面的函数是每页返回一个电影详情页链接列表

def get_urls(pages=1):
    all_url = []
    for page in range(1,pages+1):
         for r in find_by_page(page):
                 all_url.append(r)
    #去重
    all_url= set(all_url)
    print('获取到%s条链接'%len(all_url))
    return all_url
复制代码

4、最后开始爬取并输出到TXT文件上。

if __name__ == "__main__":
    out = ''
    for url in get_urls(get_pageNum()):
        url = str(url)+'\n'
        out= out+url
    with open('all_urls.txt','w') as f:
        f.write(out)


复制代码

image.png

四、总结

其实总结起来,简单小规模的爬虫无非就是分析页面---请求页面--获取目标元素--保存等若干步骤,但是真正动起手来,就会遇到各种问题,解决问题也是一个进步的过程。 解决ip被禁有很多种途径,例如使用代理ip,模拟登陆,随机延时请求,本次我是简单粗暴地每隔10页进行随机的延时。 这样我们获取到所有目标电影的详情页链接,下一步就是进行详情页的分析爬取了,这涉及到动态加载页面的爬取,将放到后面几篇分享哈,下一篇,将介绍使用第三方库requests库和xpath匹配爬取详情页链接哟。

201711042223224161.jpg

关注下面的标签,发现更多相似文章
评论