python如何访问抓到的url
我想用Python程序访问某个URL并获取网页的HTML内容，有哪些常用的方法可以实现？
使用requests库访问并获取网页内容
可以使用Python的requests库发送HTTP请求来访问URL。示例代码：
import requests
response = requests.get('http://example.com')
if response.status_code == 200:
html_content = response.text
print(html_content)
这样可以简单地获取网页的HTML文本内容，适合大部分静态网页抓取需求。
在用Python访问已抓到的URL过程中，可能会遇到连接超时或者请求失败，怎么优雅地处理这些异常？
利用异常处理机制保障访问的稳定性
使用try-except结构捕获requests中的异常。例如：
import requests
try:
response = requests.get('http://example.com', timeout=5)
response.raise_for_status()
print(response.text)
except requests.exceptions.Timeout:
print('请求超时，请稍后重试')
except requests.exceptions.HTTPError as err:
print(f'HTTP错误：{err}')
except requests.exceptions.RequestException as e:
print(f'请求错误：{e}')
这样可以有效避免程序崩溃，并在异常时给予提示。
如果抓到的URL返回的是动态加载的网页内容，普通的requests能取到完整页面吗？有没有更合适的方法？
使用Selenium模拟浏览器执行JavaScript
对于动态网页，requests获取的内容可能不完整，因为它不执行JavaScript。可以使用Selenium模拟真实浏览器访问页面，等待内容加载后再获取完整HTML。示例：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time
service = Service('path_to_chromedriver')
driver = webdriver.Chrome(service=service)
driver.get('http://dynamic-url.com')
time.sleep(3) # 等待JS加载
html = driver.page_source
driver.quit()
print(html)
Selenium可以处理大部分动态页面抓取需求，但相较requests性能略低。