python urllib

python urllib 库用于操作网页 url，并对网页的内容进行抓取处理。

本文主要介绍 python3 的 urllib。

urllib 包 包含以下几个模块：

• urllib.request - 打开和读取 url。
• urllib.error - 包含 urllib.request 抛出的异常。
• urllib.parse - 解析 url。
• urllib.robotparser - 解析 robots.txt 文件。

urllib.request

urllib.request 定义了一些打开 url 的函数和类，包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

我们可以使用 urllib.request 的 urlopen 方法来打开一个 url，语法格式如下：

urllib.request.urlopen(url, data=none, [timeout, ]*, cafile=none, capath=none, cadefault=false, context=none)

• url：url 地址。
• data：发送到服务器的其他数据对象，默认为 none。
• timeout：设置访问超时时间。
• cafile 和 capath：cafile 为 ca 证书， capath 为 ca 证书的路径，使用 https 需要用到。
• cadefault：已经被弃用。
• context：ssl.sslcontext类型，用来指定 ssl 设置。

实例如下：

以上代码使用 urlopen 打开一个 url，然后使用 read() 函数获取网页的 html 实体代码。

read() 是读取整个网页内容，我们可以指定读取的长度：

除了 read() 函数外，还包含以下两个读取网页内容的函数：

• readline() - 读取文件的一行内容

  from urllib.request import urlopen
  
  myurl = urlopen("https://www.51frw.cn/")
  print(myurl.readline()) #读取一行内容

• readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

  from urllib.request import urlopen
  
  myurl = urlopen("https://www.51frw.cn/") lines = myurl.readlines()
  for line in lines:
      print(line) 

我们在对网页进行抓取时，经常需要判断网页是否可以正常访问，这里我们就可以使用 getcode() 函数获取网页状态码，返回 200 说明网页正常，返回 404 说明网页不存在:

更多网页状态码可以查阅：https://www.51frw.cn/http/http-status-codes.html。

如果要将抓取的网页保存到本地，可以使用 python3 file write() 方法 函数：

执行以上代码，在本地就会生成一个 51frw_urllib_test.html 文件，里面包含了 https://www.51frw.cn/ 网页的内容。

url 的编码与解码可以使用 urllib.request.quote() 与 urllib.request.unquote() 方法：

输出结果为：

https%3a//www.51frw.cn/ https://www.51frw.cn/

我们抓取网页一般需要对 headers（网页头信息）进行模拟，这时候需要使用到 urllib.request.request 类：

class urllib.request.request(url, data=none, headers={}, origin_req_host=none, unverifiable=false, method=none)

• url：url 地址。
• data：发送到服务器的其他数据对象，默认为 none。
• headers：http 请求的头部信息，字典格式。
• origin_req_host：请求的主机地址，ip 或域名。
• unverifiable：很少用整个参数，用于设置网页是否需要验证，默认是false。。
• method：请求方法， 如 get、post、delete、put等。

执行以上 python 代码，会在当前目录生成 urllib_test_51frw_search.html 文件，打开 urllib_test_51frw_search.html 文件（可以使用浏览器打开）

表单 post 传递数据，我们先创建一个表单，代码如下，我这里使用了 php 代码来获取表单的数据：

执行以上代码，会提交表单数据到 py3_urllib_test.php 文件，输出结果写入到 urllib_test_post_51frw.html 文件。

打开 urllib_test_post_51frw.html 文件（可以使用浏览器打开）。

urllib.error

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 urlerror。

urllib.error 包含了两个方法，urlerror 和 httperror。

urlerror 是 oserror 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。

httperror 是 urlerror 的一个子类，用于处理特殊 http 错误例如作为认证请求的时候，包含的属性 code 为 http 的状态码， reason 为引发异常的原因，headers 为导致 httperror 的特定 http 请求的 http 响应头。

对不存在的网页抓取并处理异常:

urllib.parse

urllib.parse 用于解析 url，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=true)

urlstring 为 字符串的 url 地址，scheme 为协议类型，

allow_fragments 参数为 false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并 fragment 在返回值中设置为空字符串。

以上实例输出结果为：

parseresult(scheme='https', netloc='www.51frw.cn', path='/', params='', query='s=python+%e6%95%99%e7%a8%8b', fragment='')

从结果可以看出，内容是一个元组，包含 6 个字符串：协议，位置，路径，参数，查询，判断。

我们可以直接读取协议内容：

以上实例输出结果为：

https

完整内容如下：

属性

索引

值

值（如果不存在）

urllib.robotparser

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt（统一小写）是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

urllib.robotparser 提供了 robotfileparser 类，语法如下：

class urllib.robotparser.robotfileparser(url='')

这个类提供了一些可以读取、解析 robots.txt 文件的方法：

• set_url(url) - 设置 robots.txt 文件的 url。

• read() - 读取 robots.txt url 并将其输入解析器。

• parse(lines) - 解析行参数。

• can_fetch(useragent, url) - 如果允许 useragent 按照被解析 robots.txt 文件中的规则来获取 url 则返回 true。

• mtime() -返回最近一次获取 robots.txt 文件的时间。 这适用于需要定期检查 robots.txt 文件更新情况的长时间运行的网页爬虫。

• modified() - 将最近一次获取 robots.txt 文件的时间设置为当前时间。

• crawl_delay(useragent) -为指定的 useragent 从 robots.txt 返回 crawl-delay 形参。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 none。

• request_rate(useragent) -以 named tuple requestrate(requests, seconds) 的形式从 robots.txt 返回 request-rate 形参的内容。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 none。

• site_maps() - 以 list() 的形式从 robots.txt 返回 sitemap 形参的内容。 如果此形参不存在或者此形参的 robots.txt 条目存在语法错误，则返回 none。