Python2urllib如何解析url

在Python2中使用urllib解析URL的方法有几种：urlparse、urlsplit、urljoin。

urlparse和urlsplit可以用来分解URL, urljoin可以用来拼接URL。

这里我们将详细介绍urlparse模块，以及如何通过它来解析URL，包括使用urlparse.urlparse、urlparse.urlsplit、urlparse.urljoin等方法。

一、使用urlparse.urlparse解析URL

urlparse.urlparse 是 Python 2 标准库中的一个方法，它可以将 URL 分解成 6 个部分：scheme、netloc、path、params、query 和 fragment。通过对这些部分的解析，我们可以更好地理解和操作 URL。

import urlparse
url = 'http://www.example.com:80/path/to/page?name=ferret&color=purple#section2'
parsed_url = urlparse.urlparse(url)
print(parsed_url.scheme)   # 输出 'http'
print(parsed_url.netloc)   # 输出 'www.example.com:80'
print(parsed_url.path)     # 输出 '/path/to/page'
print(parsed_url.params)   # 输出 ''
print(parsed_url.query)    # 输出 'name=ferret&color=purple'
print(parsed_url.fragment) # 输出 'section2'

二、使用urlparse.urlsplit解析URL

urlparse.urlsplit 和 urlparse.urlparse 类似，但它不会单独解析 params 部分，而是将其包含在 path 中。这对于一些特定的应用场景可能会更加方便。

import urlparse
url = 'http://www.example.com:80/path/to/page;params?name=ferret&color=purple#section2'
split_url = urlparse.urlsplit(url)
print(split_url.scheme)   # 输出 'http'
print(split_url.netloc)   # 输出 'www.example.com:80'
print(split_url.path)     # 输出 '/path/to/page;params'
print(split_url.query)    # 输出 'name=ferret&color=purple'
print(split_url.fragment) # 输出 'section2'

三、使用urlparse.urljoin拼接URL

urlparse.urljoin 可以用来将相对 URL 拼接到一个基 URL 上，从而生成一个完整的 URL。这对于处理相对路径非常有用。

import urlparse
base_url = 'http://www.example.com/path/to/page'
relative_url = '../another/page'
full_url = urlparse.urljoin(base_url, relative_url)
print(full_url)  # 输出 'http://www.example.com/path/another/page'

四、解析和操作URL查询参数

有时，我们需要解析 URL 中的查询参数，以便进一步处理。在 Python 2 中，我们可以使用 urlparse.parse_qs 和 urlparse.parse_qsl 来实现。

1、使用urlparse.parse_qs解析查询参数

urlparse.parse_qs 将查询参数解析为字典，其中键为参数名，值为参数值的列表。

import urlparse
url = 'http://www.example.com/path/to/page?name=ferret&color=purple'
parsed_url = urlparse.urlparse(url)
query_params = urlparse.parse_qs(parsed_url.query)
print(query_params)
输出 {'name': ['ferret'], 'color': ['purple']}

2、使用urlparse.parse_qsl解析查询参数

urlparse.parse_qsl 将查询参数解析为键值对的列表。

import urlparse
url = 'http://www.example.com/path/to/page?name=ferret&color=purple'
parsed_url = urlparse.urlparse(url)
query_params_list = urlparse.parse_qsl(parsed_url.query)
print(query_params_list)
输出 [('name', 'ferret'), ('color', 'purple')]

五、构建URL

有时我们需要根据解析后的 URL 重新构建 URL。在这种情况下，我们可以使用 urlparse.urlunparse 和 urlparse.urlunsplit。

1、使用urlparse.urlunparse构建URL

urlparse.urlunparse 接受一个包含 6 个部分的元组，并将其构建为一个完整的 URL。

import urlparse
url_parts = ('http', 'www.example.com:80', '/path/to/page', '', 'name=ferret&color=purple', 'section2')
url = urlparse.urlunparse(url_parts)
print(url)  # 输出 'http://www.example.com:80/path/to/page?name=ferret&color=purple#section2'

2、使用urlparse.urlunsplit构建URL

urlparse.urlunsplit 类似于 urlparse.urlunparse，但它接受一个包含 5 个部分的元组。

import urlparse
url_parts = ('http', 'www.example.com:80', '/path/to/page', 'name=ferret&color=purple', 'section2')
url = urlparse.urlunsplit(url_parts)
print(url)  # 输出 'http://www.example.com:80/path/to/page?name=ferret&color=purple#section2'

六、处理URL编码

在处理 URL 时，我们经常需要对 URL 进行编码和解码。Python 2 提供了 urllib.quote 和 urllib.unquote 用于编码和解码 URL。

1、使用urllib.quote编码URL

urllib.quote 可以将 URL 中的特殊字符编码为百分号转义形式。

import urllib
url = 'http://www.example.com/path to/page'
encoded_url = urllib.quote(url)
print(encoded_url)  # 输出 'http%3A//www.example.com/path%20to/page'

2、使用urllib.unquote解码URL

urllib.unquote 可以将百分号转义形式的字符解码为原始字符。

import urllib
encoded_url = 'http%3A//www.example.com/path%20to/page'
decoded_url = urllib.unquote(encoded_url)
print(decoded_url)  # 输出 'http://www.example.com/path to/page'

七、总结

通过本文的介绍，我们了解了在 Python 2 中如何使用 urllib 和 urlparse 模块解析和操作 URL。具体包括使用 urlparse.urlparse 和 urlparse.urlsplit 解析 URL，使用 urlparse.urljoin 拼接 URL，解析和操作 URL 查询参数，构建 URL，以及处理 URL 编码和解码。这些方法和技巧可以帮助我们更好地处理和操作 URL，提高我们的工作效率。希望本文对您有所帮助，如果有任何疑问或建议，欢迎在评论区留言讨论。