python遍历url的子url
常见问答
如何使用Python提取网页中的所有子链接？
我想从一个网页URL中抓取并列出该网页上的所有子链接，应该用哪些Python库和方法来实现？
使用requests和BeautifulSoup提取子链接
你可以使用requests库发送HTTP请求获取网页内容，再用BeautifulSoup解析HTML，从中提取所有包含href属性的标签，从而获取子链接。示例代码:
import requests
from bs4 import BeautifulSoup
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
sub_urls = [a['href'] for a in soup.find_all('a', href=True)]
print(sub_urls)
如何递归遍历一个网站的所有子URL？
我想用Python递归访问一个站点内的所有子页面链接，并做一些数据处理，有什么合适的策略或注意事项吗？
递归遍历子URL的思路与实现建议
递归遍历网站URL时，需要维护一个已访问集合避免重复访问。可在获得当前页面所有子链接时，过滤出站内链接并递归访问。建议设置请求延时，避免给服务器带来过大压力，并且尊重robots.txt规则以符合网站爬虫规范。
如何判断提取的URL是完整有效的链接？
提取子链接时，有些URL是相对路径，直接使用会出错，如何处理这些路径？
处理相对和绝对URL的方法
需要用Python的urllib.parse模块中的urljoin方法将相对URL转换为绝对URL，以确保访问时路径正确。例如:
from urllib.parse import urljoin
base_url = 'http://example.com/path/'
relative_url = '../subpage'
full_url = urljoin(base_url, relative_url)
print(full_url)
这样可以将相对路径规范化为完整URL。