python如何使用代理服务器

Python使用代理服务器的方式主要有以下几种：requests库、urllib库、Selenium库。

其中，requests库是最常用的方式，因为它简单易用、功能强大。下面我们详细介绍如何在Python中使用requests库设置代理服务器。

一、使用requests库设置代理

requests库是Python中一个非常流行的HTTP库，它可以非常方便地发送HTTP请求。要使用代理服务器，我们只需要在requests请求中添加proxies参数。

import requests
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}
response = requests.get("http://example.com", proxies=proxies)
print(response.text)

在上面的代码中，我们定义了一个代理字典proxies，并将其传递给requests.get方法。这样所有的请求都会通过指定的代理服务器发送。

二、使用urllib库设置代理

虽然requests库非常流行，但有些情况下我们可能需要使用标准库中的urllib。使用urllib设置代理也非常简单，只需使用ProxyHandler。

import urllib.request
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://example.com')
print(response.read())

在这个例子中，我们创建了一个ProxyHandler对象，并使用urllib.request.build_opener方法创建了一个带有代理的opener对象。然后我们使用这个opener对象来发送请求。

三、使用Selenium库设置代理

Selenium是一个非常流行的自动化测试工具，它可以驱动浏览器执行操作。我们可以使用Selenium来设置代理服务器。

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = '10.10.1.10:3128'
proxy.ssl_proxy = '10.10.1.10:1080'
capabilities = webdriver.DesiredCapabilities.CHROME
proxy.add_to_capabilities(capabilities)
driver = webdriver.Chrome(desired_capabilities=capabilities)
driver.get('http://example.com')
print(driver.page_source)
driver.quit()

在这个例子中，我们创建了一个Proxy对象，并设置了代理类型和代理地址。然后我们将这个代理添加到Chrome浏览器的capabilities中，最后启动Chrome浏览器并发送请求。

四、代理认证

在实际使用中，很多代理服务器需要认证才能使用。requests库支持代理认证，只需在代理URL中包含用户名和密码。

import requests
proxies = {
    "http": "http://user:password@10.10.1.10:3128",
    "https": "http://user:password@10.10.1.10:1080",
}
response = requests.get("http://example.com", proxies=proxies)
print(response.text)

对于urllib库，我们需要使用ProxyBasicAuthHandler来处理代理认证。

import urllib.request
proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
})
auth_handler = urllib.request.ProxyBasicAuthHandler()
auth_handler.add_password(None, '10.10.1.10:3128', 'user', 'password')
opener = urllib.request.build_opener(proxy_handler, auth_handler)
response = opener.open('http://example.com')
print(response.read())

五、使用环境变量设置代理

有时候我们可能需要在系统级别设置代理。我们可以通过设置环境变量来实现，这样所有通过requests库发送的请求都会使用这些代理。

import os
os.environ['HTTP_PROXY'] = 'http://10.10.1.10:3128'
os.environ['HTTPS_PROXY'] = 'http://10.10.1.10:1080'
import requests
response = requests.get("http://example.com")
print(response.text)

六、动态代理

在一些应用中，我们可能需要动态切换代理服务器。例如，如果一个代理服务器失效，我们可以自动切换到另一个代理服务器。实现动态代理的一种方法是编写一个代理池，随机选择一个代理。

import requests
import random
proxies_pool = [
    "http://10.10.1.10:3128",
    "http://10.10.1.11:3128",
    "http://10.10.1.12:3128",
]
proxy = random.choice(proxies_pool)
proxies = {
    "http": proxy,
    "https": proxy,
}
response = requests.get("http://example.com", proxies=proxies)
print(response.text)

在这个例子中，我们创建了一个代理池proxies_pool，并随机选择一个代理服务器发送请求。

七、使用第三方代理服务

有很多第三方代理服务提供商，例如ProxyMesh、ScraperAPI等。使用这些服务可以简化代理管理，并提供更高的稳定性和性能。通常，这些服务提供REST API或SDK，可以直接集成到Python项目中。

import requests
proxies = {
    "http": "http://username:password@proxy-service.com:3128",
    "https": "http://username:password@proxy-service.com:1080",
}
response = requests.get("http://example.com", proxies=proxies)
print(response.text)

在这个例子中，我们使用了一个第三方代理服务，只需在代理URL中包含用户名和密码即可。