python如何爬取txt
用户关注问题
如何使用Python读取网页上的txt文件？
我想用Python爬取网页上的txt文本文件，应该用什么方法来获取并保存这些文件？
利用requests库下载txt文件
可以使用Python的requests库发送HTTP请求，获取txt文件的内容。获取到内容后，把它写入本地txt文件即可。示例代码：
import requests
url = 'http://example.com/sample.txt'
response = requests.get(url)
with open('sample.txt', 'w', encoding='utf-8') as f:
f.write(response.text)
Python中处理txt文件内容有哪些常用方法？
爬取到txt文件后，如何用Python读取和处理里面的文本内容？
使用内置文件读写函数处理文本
你可以通过open函数以'r'模式打开txt文件，然后使用read()、readline()或readlines()方法读取文本内容。读取后可以用字符串的方法（如split、strip等）进行内容处理。例如：
with open('sample.txt', 'r', encoding='utf-8') as file:
lines = file.readlines()
for line in lines:
print(line.strip())
如何处理爬取txt文件时遇到的编码问题？
爬取txt文件时，打开文件出现乱码，该怎么解决编码问题？
指定正确的文件编码格式
爬取txt文件时，可能因为编码格式不匹配导致乱码。可以通过查看网页的响应头或该txt文件的编码格式，指定正确的编码方式打开文件。例如，常见编码有utf-8、gbk等。在open函数中设置encoding参数，可以有效避免乱码问题。