Skip to content

失败重试

可避免因一时问题而造成爬取失败,将会等待这一轮爬取目标结束后重新爬取目标。

可以在 创建爬虫应用实例、进阶用法、详细目标 这三个地方设置。

js
import { createCrawl } from 'x-crawl'

const crawlApp = createCrawl()

crawlApp
  .crawlData({ url: 'https://www.example.com/api', maxRetry: 9 })
  .then((res) => {})

maxRetry 属性决定要重试几次。

基于 MIT 许可发布