使用Python编写爬虫的基本模块及框架使用指南

发表于 5年以前 | 总阅读数：941 次

基本模块
python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。

基本模块使用的是 urllib，urllib2，re，等模块

基本用法，例子：

（1）进行基本GET请求，获取网页html


    #!coding=utf-8
    import urllib
    import urllib2

    url = 'http://www.baidu.com/'
    # 获取请求
    request = urllib2.Request(url)
    try:
      # 根据request，得到返回response
      response = urllib2.urlopen(request)
    except urllib2.HTTPError, e:
      if hasattr(e, 'reason'):
        print e.reason
    # 读取response的body
    html = response.read()
    # 读取response的headers
    headers = response.info()

（2）表单提交


    #!coding=utf-8
    import urllib2
    import urllib

    post_url = ''

    post_data = urllib.urlencode({
      'username': 'username',
      'password': 'password',
    })

    post_headers = {
      'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:31.0) Gecko/20100101 Firefox/31.0',
    }

    request = urllib2.Request(
      url=post_url,
      data=post_data,
      headers=post_headers,
    )

    response = urllib2.urlopen(request)

    html = response.read()

(3)


    #!coding=utf-8

    import urllib2
    import re

    page_num = 1
    url = 'http://tieba.baidu.com/p/3238280985?see_lz=1&pn;='+str(page_num)
    myPage = urllib2.urlopen(url).read().decode('gbk')

    myRe = re.compile(r'class="d_post_content j_d_post_content ">(.*?)</div>', re.DOTALL)
    items = myRe.findall(myPage)

    f = open('baidu.txt', 'a+')

    import sys
    reload(sys)
    sys.setdefaultencoding('utf-8')

    i = 0
    texts = []
    for item in items:
      i += 1
      print i
      text = item.replace('<br>', '')
      text.replace('\n', '').replace(' ', '') + '\n'
      print text
      f.write(text)

    f.close()

(4)


    #coding:utf-8
    '''
      模拟登陆163邮箱并下载邮件内容

    '''
    import urllib
    import urllib2
    import cookielib
    import re
    import time
    import json

    class Email163:
      header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
      user = ''
      cookie = None
      sid = None
      mailBaseUrl='http://twebmail.mail.163.com'

      def __init__(self):
        self.cookie = cookielib.CookieJar()
        cookiePro = urllib2.HTTPCookieProcessor(self.cookie)
        urllib2.install_opener(urllib2.build_opener(cookiePro))

      def login(self,user,pwd):
        '''
          登录
        '''
        postdata = urllib.urlencode({
            'username':user,
            'password':pwd,
            'type':1
          })
        #注意版本不同，登录URL也不同
        req = urllib2.Request(
            url='https://ssl.mail.163.com/entry/coremail/fcg/ntesdoor2?funcid=loginone&language;=-1&passtype;=1&iframe;=1&product;=mail163&from;=web&df;=email163&race;=-2_45_-2_hz&module;=&uid;='+user+'&style;=10&net;=t&skinid;=null',
            data=postdata,
            headers=self.header,
          )
        res = str(urllib2.urlopen(req).read())
        #print res
        patt = re.compile('sid=([^"]+)',re.I)
        patt = patt.search(res)

        uname = user.split('@')[0]
        self.user = user
        if patt:
          self.sid = patt.group(1).strip()
          #print self.sid
          print '%s Login Successful.....'%(uname)
        else:
          print '%s Login failed....'%(uname)


      def getInBox(self):
        '''
          获取邮箱列表
        '''
        print '\nGet mail lists.....\n'
        sid = self.sid
        url = self.mailBaseUrl+'/jy3/list/list.do?sid='+sid+'&fid;=1&fr;=folder'
        res = urllib2.urlopen(url).read()
        #获取邮件列表
        mailList = []
        patt = re.compile('<div\s+class="tdLike Ibx_Td_From"[^>]+>.*?href="([^"]+)"[^>]+>(.*?)<\/a>.*?<div\s+class="tdLike Ibx_Td_Subject"[^>]+>.*?href="[^>]+>(.*?)<\/a>',re.I|re.S)
        patt = patt.findall(res)
        if patt==None:
          return mailList

        for i in patt:
          line = {
              'from':i[1].decode('utf8'),
               'url':self.mailBaseUrl+i[0],
               'subject':i[2].decode('utf8')
               }
          mailList.append(line)

        return mailList


      def getMailMsg(self,url):
        '''
          下载邮件内容
        '''
        content=''
        print '\n Download.....%s\n'%(url)
        res = urllib2.urlopen(url).read()

        patt = re.compile('contentURL:"([^"]+)"',re.I)
        patt = patt.search(res)
        if patt==None:
          return content
        url = '%s%s'%(self.mailBaseUrl,patt.group(1))
        time.sleep(1)
        res = urllib2.urlopen(url).read()
        Djson = json.JSONDecoder(encoding='utf8')
        jsonRes = Djson.decode(res)
        if 'resultVar' in jsonRes:
          content = Djson.decode(res)['resultVar']
        time.sleep(3)
        return content


    '''
      Demon
    '''
    #初始化
    mail163 = Email163()
    #登录
    mail163.login('lpe234@163.com','944898186')
    time.sleep(2)

    #获取收件箱
    elist = mail163.getInBox()

    #获取邮件内容
    for i in elist:
      print '主题：%s  来自：%s 内容：\n%s'%(i['subject'].encode('utf8'),i['from'].encode('utf8'),mail163.getMailMsg(i['url']).encode('utf8'))

（５）需要登陆的情况


    #1 cookie的处理

    import urllib2, cookielib
    cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
    opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
    urllib2.install_opener(opener)
    content = urllib2.urlopen('http://XXXX').read()

    #2 用代理和cookie

    opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)

    #3 表单的处理

    import urllib
    postdata=urllib.urlencode({
      'username':'XXXXX',
      'password':'XXXXX',
      'continueURI':'http://www.verycd.com/',
      'fk':fk,
      'login_submit':'登录'
    })

    req = urllib2.Request(
      url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
      data = postdata
    )
    result = urllib2.urlopen(req).read()

    #4 伪装成浏览器访问

    headers = {
      'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
    }
    req = urllib2.Request(
      url = 'http://secure.verycd.com/signin/*/http://www.verycd.com/',
      data = postdata,
      headers = headers
    )

    #5 反"反盗链"

    headers = {
      'Referer':'http://www.cnbeta.com/articles'
    }

（６）多线程


    from threading import Thread
    from Queue import Queue
    from time import sleep
    #q是任务队列
    #NUM是并发线程总数
    #JOBS是有多少任务
    q = Queue()
    NUM = 2
    JOBS = 10
    #具体的处理函数，负责处理单个任务
    def do_somthing_using(arguments):
      print arguments
    #这个是工作进程，负责不断从队列取数据并处理
    def working():
      while True:
        arguments = q.get()
        do_somthing_using(arguments)
        sleep(1)
        q.task_done()
    #fork NUM个线程等待队列
    for i in range(NUM):
      t = Thread(target=working)
      t.setDaemon(True)
      t.start()
    #把JOBS排入队列
    for i in range(JOBS):
      q.put(i)
    #等待所有JOBS完成
    q.join()

scrapy框架
Scrapy框架，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

刚开始学习这个框架。不太好评论。只是感觉这个框架有些Java的感觉，需要太多的其他模块的支持。

（一）创建 scrapy 项目


    # 使用 scrapy startproject scrapy_test
    ├── scrapy_test
    │  ├── scrapy.cfg
    │  └── scrapy_test
    │    ├── __init__.py
    │    ├── items.py
    │    ├── pipelines.py
    │    ├── settings.py
    │    └── spiders
    │      ├── __init__.py
    # 进行创建 scrapy 项目

（二）说明

scrapy.cfg: 项目配置文件
items.py: 需要提取的数据结构定义文件
pipelines.py:管道定义，用来对items里面提取的数据做进一步处理，如保存等
settings.py: 爬虫配置文件
spiders: 放置spider的目录
（三）依赖包

依赖包比较麻烦。


    # python-dev 包的安装
    apt-get install python-dev

    # twisted, w3lib, six, queuelib, cssselect， libxslt

    pip install w3lib
    pip install twisted
    pip install lxml
    apt-get install libxml2-dev libxslt-dev 
    apt-get install python-lxml
    pip install cssselect 
    pip install pyOpenSSL 
    sudo pip install service_identity

    # 安装好之后，便可使用 scrapy startproject test 进行创建项目

（四）抓取实例。
（1）创建scrapy项目


    dizzy@dizzy-pc:~/Python/spit$ scrapy startproject itzhaopin
    New Scrapy project 'itzhaopin' created in:
      /home/dizzy/Python/spit/itzhaopin

    You can start your first spider with:
      cd itzhaopin
      scrapy genspider example example.com
    dizzy@dizzy-pc:~/Python/spit$ 

    dizzy@dizzy-pc:~/Python/spit$ cd itzhaopin
    dizzy@dizzy-pc:~/Python/spit/itzhaopin$ tree
    .
    ├── itzhaopin
    │  ├── __init__.py
    │  ├── items.py
    │  ├── pipelines.py
    │  ├── settings.py
    │  └── spiders
    │    └── __init__.py
    └── scrapy.cfg

    # scrapy.cfg: 项http://my.oschina.net/lpe234/admin/new-blog目配置文件
    # items.py: 需要提取的数据结构定义文件
    # pipelines.py:管道定义，用来对items里面提取的数据做进一步处理，如保存等
    # settings.py: 爬虫配置文件
    # spiders: 放置spider的目录

    （2）定义要抓取的数据结构 items.py


    from scrapy.item import Item, Field
    # 定义我们要抓取的数据
    class TencentItem(Item):
      name = Field() # 职位名称
      catalog = Field() # 职位类别
      workLocation = Field() # 工作地点
      recruitNumber = Field() # 招聘人数
      detailLink = Field() # 职位详情链接
      publishTime = Field() # 发布时间

(3)实现Spider类

Spider是继承自 scarpy.contrib.spiders.CrawlSpider 的Python类，有3个必须定义的成员。
name : 名称，spider的标识。
start_urls : 一个url列表，spider从这些网页开始抓取
parse() : 一个方法。当start_urls里面的网页抓取下来之后需要调用这个方法来解析网页内容，同时需要返回下一个需要抓取的网页，或者返回items列表。

在spiders目录下面新建一个spider，tencent_spider.py ：


    #coding=utf-8

    from scrapy.spider import BaseSpider


    class DmozSpider(BaseSpider):
      name = 'dmoz'
      allowed_domains = ['dmoz.org']
      start_urls = [
        'http://www.dmoz.org/Computers/Programming/Languages/Python/Books/',
        'http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/'
      ]

      def parse(self, response):
        filename = response.url.split('/')[-2]
        open(filename, 'wb').write(response.info)

这个简单一些。使用scrapy crawl dmoz # 即可运行spider