怎么利用js 写爬虫

利用JavaScript写爬虫的核心观点：选择合适的环境和工具、使用请求库进行网络请求、解析HTML内容、处理异步操作、遵守爬虫礼仪。下面我们详细讲解其中的一个核心点——选择合适的环境和工具。

选择合适的环境和工具是编写JavaScript爬虫的第一步，通常使用Node.js作为运行环境。Node.js提供了非阻塞I/O操作，非常适合用于处理大量的网络请求。此外，使用诸如Cheerio和Puppeteer等库，可以方便地解析和操作HTML内容。Cheerio是一个快速、灵活的jQuery核心实现，用于在服务器上快速加载和解析HTML文档。Puppeteer则是一个Node库，提供了一个高级API控制Headless Chrome或Chromium，可以用来模拟用户行为，如点击、输入等。

一、选择合适的环境和工具

在编写JavaScript爬虫之前，需要选择一个合适的运行环境。Node.js是一个基于Chrome V8引擎构建的JavaScript运行时，非常适合用于服务器端开发。Node.js的非阻塞I/O操作使其在处理大量并发请求时表现优异，是编写爬虫的理想选择。

Node.js安装与配置

首先，确保在你的系统上已经安装了Node.js。可以通过Node.js官方网站下载并安装最新版本的Node.js。安装完成后，可以通过命令行输入node -v来验证Node.js是否安装成功。

node -v

常用库和工具

1. Cheerio

Cheerio是一个轻量级的库，类似于jQuery，它允许你在服务器上快速加载和操作HTML文档。它的语法和jQuery几乎一致，非常易于上手。

安装Cheerio：

npm install cheerio

使用Cheerio解析HTML内容：

const cheerio = require('cheerio');
const html = '<h2 class="title">Hello world</h2>';
const $ = cheerio.load(html);
console.log($('h2.title').text()); // 输出 'Hello world'

2. Puppeteer

Puppeteer是一个由Google开发的Node库，提供了一个高级API，用来控制Headless Chrome或Chromium。它可以用来生成截图、PDF，爬取SPA（单页应用），模拟键盘输入、点击等用户行为。

安装Puppeteer：

npm install puppeteer

使用Puppeteer获取网页内容：

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  const content = await page.content();
  console.log(content);
  await browser.close();
})();

二、使用请求库进行网络请求

在编写爬虫时，发送HTTP请求是基本操作。可以使用Node.js的原生http模块，但更推荐使用诸如Axios或Request等更高级的库，这些库提供了更简洁的API，并且可以处理更多的边缘情况。

Axios的使用

Axios是一个基于Promise的HTTP客户端，可以用于浏览器和Node.js，非常适合用于爬虫开发。

安装Axios：

npm install axios

使用Axios发送GET请求：

const axios = require('axios');
axios.get('https://example.com')
  .then(response => {
    console.log(response.data);
  })
  .catch(error => {
    console.error('Error fetching the URL:', error);
  });

三、解析HTML内容

在获取了网页内容后，需要解析HTML来提取需要的数据。根据不同的需求，可以选择不同的解析方式。

Cheerio解析HTML

Cheerio是一个非常强大的HTML解析工具，它的API和jQuery几乎一致，使用起来非常方便。

const axios = require('axios');
const cheerio = require('cheerio');
axios.get('https://example.com')
  .then(response => {
    const $ = cheerio.load(response.data);
    const title = $('h1').text();
    console.log('Title:', title);
  })
  .catch(error => {
    console.error('Error fetching the URL:', error);
  });

Puppeteer解析动态内容

对于需要JavaScript渲染的动态页面，可以使用Puppeteer来解析内容。Puppeteer可以模拟浏览器行为，加载页面并执行JavaScript代码。

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  const title = await page.$eval('h1', el => el.textContent);
  console.log('Title:', title);
  await browser.close();
})();

四、处理异步操作

在爬虫开发中，处理异步操作是不可避免的。JavaScript中的异步操作主要通过回调函数、Promise和async/await来实现。

使用Promise

Promise是JavaScript中处理异步操作的一种方式，通过链式调用可以避免回调地狱。

const axios = require('axios');
axios.get('https://example.com')
  .then(response => {
    console.log(response.data);
    return axios.get('https://example.com/another-page');
  })
  .then(response => {
    console.log(response.data);
  })
  .catch(error => {
    console.error('Error:', error);
  });

使用`async/await`

async/await是处理异步操作的更高级方式，它使代码看起来更加简洁和同步。

const axios = require('axios');
async function fetchData() {
  try {
    const response = await axios.get('https://example.com');
    console.log(response.data);
    const anotherResponse = await axios.get('https://example.com/another-page');
    console.log(anotherResponse.data);
  } catch (error) {
    console.error('Error:', error);
  }
}
fetchData();

五、遵守爬虫礼仪

在编写和运行爬虫时，需要遵守一些基本的爬虫礼仪，以避免对目标网站造成负担或被封禁。

遵守`robots.txt`

robots.txt是网站用于告诉爬虫哪些页面可以抓取，哪些页面不能抓取的文件。在发送请求之前，可以先检查目标网站的robots.txt文件，确保你的爬虫行为是被允许的。

const axios = require('axios');
async function checkRobotsTxt() {
  try {
    const response = await axios.get('https://example.com/robots.txt');
    console.log(response.data);
  } catch (error) {
    console.error('Error fetching robots.txt:', error);
  }
}
checkRobotsTxt();

设置适当的请求间隔

为了避免对目标网站造成负担，应该设置合适的请求间隔。可以使用setTimeout或setInterval来实现请求间隔控制。

const axios = require('axios');
async function fetchDataWithInterval(urls) {
  for (const url of urls) {
    try {
      const response = await axios.get(url);
      console.log('Fetched data from:', url);
      await new Promise(resolve => setTimeout(resolve, 1000)); // 等待1秒
    } catch (error) {
      console.error('Error fetching URL:', url, error);
    }
  }
}
const urls = ['https://example.com/page1', 'https://example.com/page2', 'https://example.com/page3'];
fetchDataWithInterval(urls);

使用合适的User-Agent

在发送请求时，应该设置合适的User-Agent，模拟正常的浏览器行为，避免被目标网站识别为爬虫。

const axios = require('axios');
async function fetchDataWithUserAgent(url) {
  try {
    const response = await axios.get(url, {
      headers: {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
      }
    });
    console.log(response.data);
  } catch (error) {
    console.error('Error fetching the URL:', error);
  }
}
fetchDataWithUserAgent('https://example.com');

通过选择合适的环境和工具、使用请求库进行网络请求、解析HTML内容、处理异步操作和遵守爬虫礼仪，你可以编写出高效、稳定且友好的JavaScript爬虫。在实际开发中，根据具体需求和目标网站的特点，不断调整和优化爬虫逻辑，才能达到最佳效果。