Python爬虫实现网页信息抓取功能示例【URL与正则模块】

本文实例讲述了Python爬虫实现网页信息抓取功能。分享给大家供大家参考，具体如下：

首先实现关于网页解析、读取等操作我们要用到以下几个模块

    import urllib
    import urllib2
    import re

我们可以尝试一下用readline方法读某个网站，比如说百度

    def test():
      f=urllib.urlopen('http://www.baidu.com')
      while True:
       firstLine=f.readline()
       print firstLine

下面我们说一下如何实现网页信息的抓取，比如说百度贴吧

我们大概要做几件事情：

首先获取网页及其代码，这里我们要实现多页，即其网址会改变，我们传递一个页数

      def getPage(self,pageNum):
         try:
            url=self.baseURL+self.seeLZ+'&pn;='+str(pageNum)
            #创建request对象
            request=urllib2.Request(url)
            response=urllib2.urlopen(request)
            #print 'URL:'+url
            return response.read()
         except Exception,e:
            print e

之后我们要获取小说内容，这里咱们分为标题和正文。标题每页都有，所以我们获取一次就好了。

我们可以点击某网站，按f12查看他的标题标签是如何构造的，比如说百度贴吧是