Python爬虫抓取暴走漫画上GIF趣图的代码

发布时间:2019-10-21编辑:脚本学堂
分享一例python爬虫代码爬取漫画上GIF趣图的方法,有研究python爬虫代码的朋友,可以参考学习下。

本节内容:
python爬虫实现代码

用 python3.3 实现的爬虫,主要爬取暴走漫画上的GIF趣图。
方便地下载很有意思的gif以便离线观看。
主要用到了 urllib.request 和 BeautifulSoup 模块。

例子,python爬虫代码。
 

复制代码 代码示例:

# -*- coding: utf-8 -*-

#--------------------------------------- 
#   程序:暴走漫画的GIF趣图爬虫
#   版本: 0.1
#   作者:WuChong
#   日期:2014-01-27
#   语言:Python 3.3
#   说明:能自定义下载页数,默认全部下载,未加多线程功能
#---------------------------------------

import urllib.request
import bs4,os

page_sum = 1  #设置下载页数

path = os.getcwd()
path = os.path.join(path,'暴走GIF')
if not os.path.exists(path):
    os.mkdir(path)                                  #创建文件夹

url = "http://baozoumanhua.com/gif/month/page/"     #url地址
headers = {                                         #伪装浏览器
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
                 ' Chrome/32.0.1700.76 Safari/537.36'
}

for count in range(page_sum):
    req = urllib.request.Request(
        url = url+str(count+1),
        headers = headers
    )
    print(req.full_url)
    content = urllib.request.urlopen(req).read()

    soup = bs4.BeautifulSoup(content)                   # BeautifulSoup
    img_content = soup.findAll('img',attrs={'style':'width:460px'})

    url_list = [img['src'] for img in img_content]      #列表推导 url
    title_list = [img['alt'] for img in img_content]    #图片名称

    for i in range(url_list.__len__()) :
        imgurl = url_list[i]
        filename = path + os.sep +title_list[i] + ".gif"
        print(filename+":"+imgurl)                         #打印下载信息
        urllib.request.urlretrieve(imgurl,filename)        #下载图片

python网络爬虫采集联想词实例
python博客文章爬虫实现代码
python网页爬虫程序示例代码
python 网络爬虫(经典实用型)
Python 网易新闻小爬虫的实现代码
python网络爬虫的代码
python 实现从百度开始不断搜索的爬虫
Python实现天气预报采集器(网页爬虫)的教程