python爬虫如何设置代理服务器

Python爬虫设置代理服务器的方法有：使用requests库设置代理、使用urllib库设置代理、使用Selenium设置代理。 其中，通过使用requests库设置代理是最常见和简单的方法之一。我们可以通过传递一个proxies字典给requests库的get或post方法来设置代理服务器。下面将详细介绍这种方法。

使用requests库设置代理时，我们需要在发起请求时传递一个包含代理信息的字典给requests库的get或post方法。这种方法相对简单且高效，适用于大多数爬虫任务。以下是一个示例代码：

import requests
proxies = {
    'http': 'http://proxy.example.com:8080',
    'https': 'https://proxy.example.com:8080',
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在上面的代码中，我们定义了一个包含代理服务器信息的字典proxies，然后将其传递给requests.get方法。这样，requests库会通过代理服务器发起HTTP请求。

一、使用requests库设置代理

使用requests库设置代理是最常见的方法之一。requests库是一个简洁、易用的HTTP库，支持各种HTTP请求方法和特性。设置代理非常简单，只需传递一个包含代理信息的字典给requests库的get或post方法即可。

1. 基本使用

在requests库中，代理信息可以通过proxies参数来设置。proxies是一个字典，包含HTTP和HTTPS的代理信息。以下是一个示例代码：

import requests
proxies = {
    'http': 'http://proxy.example.com:8080',
    'https': 'https://proxy.example.com:8080',
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在这个示例中，我们定义了一个包含代理服务器信息的字典proxies，然后将其传递给requests.get方法。这样，requests库会通过代理服务器发起HTTP请求。

2. 使用带认证的代理

有些代理服务器需要身份验证，即需要提供用户名和密码。可以在代理URL中包含用户名和密码，格式如下：

import requests
proxies = {
    'http': 'http://username:password@proxy.example.com:8080',
    'https': 'https://username:password@proxy.example.com:8080',
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在这个示例中，我们在代理URL中包含了用户名和密码，用于通过代理服务器进行身份验证。

3. 动态代理

在一些复杂的爬虫任务中，可能需要使用多个代理服务器，以避免被目标网站封禁。可以编写一个函数，动态选择代理服务器：

import requests
import random
def get_random_proxy():
    proxy_list = [
        'http://proxy1.example.com:8080',
        'http://proxy2.example.com:8080',
        'http://proxy3.example.com:8080',
    ]
    return random.choice(proxy_list)
proxies = {
    'http': get_random_proxy(),
    'https': get_random_proxy(),
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在这个示例中，我们定义了一个函数get_random_proxy，用于随机选择一个代理服务器。每次发起请求时，都会动态选择一个代理服务器。

二、使用urllib库设置代理

urllib库是Python标准库中的一个HTTP请求库，虽然功能较为基础，但在某些简单爬虫任务中也能胜任。通过设置urllib的代理处理器，可以实现代理请求。

1. 基本使用

使用urllib库设置代理，需要通过urllib.request.ProxyHandler来定义代理处理器，并通过urllib.request.build_opener来构建一个Opener对象。以下是一个示例代码：

import urllib.request
proxy_support = urllib.request.ProxyHandler({'http': 'http://proxy.example.com:8080', 'https': 'https://proxy.example.com:8080'})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
response = urllib.request.urlopen('http://example.com')
print(response.read().decode('utf-8'))

在这个示例中，我们定义了一个代理处理器proxy_support，并通过urllib.request.build_opener构建了一个Opener对象。然后使用urllib.request.install_opener方法将其设置为全局的Opener对象，这样后续的请求都会通过代理服务器发起。

2. 使用带认证的代理

与requests库类似，urllib也支持带身份验证的代理。可以在代理URL中包含用户名和密码，格式如下：

import urllib.request
proxy_support = urllib.request.ProxyHandler({'http': 'http://username:password@proxy.example.com:8080', 'https': 'https://username:password@proxy.example.com:8080'})
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
response = urllib.request.urlopen('http://example.com')
print(response.read().decode('utf-8'))

在这个示例中，我们在代理URL中包含了用户名和密码，用于通过代理服务器进行身份验证。

三、使用Selenium设置代理

Selenium是一个用于Web浏览器自动化的工具，可以用来模拟用户操作浏览器。对于一些复杂的爬虫任务，尤其是需要处理JavaScript动态加载的页面，Selenium是一个非常有用的工具。Selenium也支持代理设置，以下是一些示例代码。

1. 基本使用

使用Selenium设置代理时，需要通过浏览器选项来设置代理服务器。以下是一个使用Chrome浏览器的示例代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://proxy.example.com:8080')
driver = webdriver.Chrome(options=chrome_options)
driver.get('http://example.com')
print(driver.page_source)
driver.quit()

在这个示例中，我们通过Chrome浏览器选项chrome_options设置了代理服务器，并将其传递给webdriver.Chrome方法。

2. 使用带认证的代理

Selenium本身不支持直接在代理URL中包含用户名和密码，但可以通过配置浏览器扩展来实现代理认证。以下是一个使用Chrome扩展的示例代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
proxy_auth_plugin_path = 'path/to/proxy_auth_plugin.zip'  # 代理认证插件路径
chrome_options = Options()
chrome_options.add_extension(proxy_auth_plugin_path)
chrome_options.add_argument('--proxy-server=http://proxy.example.com:8080')
driver = webdriver.Chrome(options=chrome_options)
driver.get('http://example.com')
print(driver.page_source)
driver.quit()

在这个示例中，我们通过Chrome扩展proxy_auth_plugin.zip实现了代理认证，并将其传递给webdriver.Chrome方法。

四、使用Scrapy设置代理

Scrapy是一个功能强大的爬虫框架，适用于大规模爬取任务。Scrapy支持在全局或单独请求中设置代理。

1. 全局设置代理

可以在Scrapy项目的settings.py文件中添加以下配置：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1,
}
HTTPPROXY_ENABLED = True
HTTP_PROXY = 'http://proxy.example.com:8080'

在这个配置中，我们启用了HttpProxyMiddleware，并设置了全局代理服务器。

2. 动态设置代理

在一些复杂的爬虫任务中，可能需要动态选择代理服务器。可以通过自定义中间件来实现：

from scrapy import signals
import random
class RandomProxyMiddleware:
    def __init__(self):
        self.proxy_list = [
            'http://proxy1.example.com:8080',
            'http://proxy2.example.com:8080',
            'http://proxy3.example.com:8080',
        ]
    @classmethod
    def from_crawler(cls, crawler):
        return cls()
    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = proxy

在这个示例中，我们定义了一个自定义中间件RandomProxyMiddleware，用于随机选择代理服务器。将其添加到Scrapy项目的settings.py文件中：

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomProxyMiddleware': 1,
}

五、代理池的使用

在一些复杂的爬虫任务中，为了避免被封禁或提高请求成功率，可以使用代理池。代理池是一个包含多个代理服务器的集合，爬虫在发起请求时动态选择代理服务器。

1. 基本使用

可以使用现有的代理池库，如proxy_pool。以下是一个示例代码：

from proxypool import ProxyPool
proxy_pool = ProxyPool()
proxy = proxy_pool.get_proxy()
print(proxy)

在这个示例中，我们使用proxypool库创建了一个代理池，并从中获取了一个代理服务器。

2. 自定义代理池

也可以自定义一个简单的代理池：

import requests
import random
class ProxyPool:
    def __init__(self):
        self.proxy_list = [
            'http://proxy1.example.com:8080',
            'http://proxy2.example.com:8080',
            'http://proxy3.example.com:8080',
        ]
    def get_proxy(self):
        return random.choice(self.proxy_list)
proxy_pool = ProxyPool()
proxies = {
    'http': proxy_pool.get_proxy(),
    'https': proxy_pool.get_proxy(),
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

在这个示例中，我们定义了一个简单的代理池类ProxyPool，并从中随机选择一个代理服务器。

六、代理IP的选择和维护

在使用代理进行爬虫时，选择和维护代理IP是一个关键问题。以下是一些建议和方法：

1. 选择高质量代理

高质量代理通常具有较高的稳定性和速度，可以通过以下途径获取：

付费代理服务：通过购买付费代理服务，获取高质量的代理IP。
免费代理网站：从一些提供免费代理IP的网站获取代理，但稳定性和速度较差。
自建代理：通过购买服务器，自行搭建代理服务。

2. 代理IP的维护

代理IP的维护包括定期检测代理IP的可用性和更新代理IP列表。可以编写脚本定期检测代理IP的可用性：

import requests
def check_proxy(proxy):
    try:
        response = requests.get('http://example.com', proxies={'http': proxy, 'https': proxy}, timeout=5)
        return response.status_code == 200
    except:
        return False
proxy_list = [
    'http://proxy1.example.com:8080',
    'http://proxy2.example.com:8080',
    'http://proxy3.example.com:8080',
]
available_proxies = [proxy for proxy in proxy_list if check_proxy(proxy)]
print(available_proxies)