x-crawl

灵活的 Node.js AI 辅助爬虫库

使爬虫工作变得更加高效、智能和便捷

🤖 AI 辅助

强大的 AI 辅助功能，使爬虫工作变得更加高效、智能和便捷。

单个爬取 API 都适配多种配置，每种配置方式都各有千秋。

支持爬动态页面、静态页面、接口数据以及文件数据。

爬取动态页面支持自动化操作、键盘输入、事件操作等。

零配置或自定义配置，避免指纹识别从不同位置识别并跟踪我们。

无需切换爬取 API 即可进行异步或同步的爬取模式。

无间隔、固定间隔以及随机间隔，决定是否高并发爬取。

自定义重试次数，避免因短暂的问题而造成爬取失败。

搭配失败重试，自定义错误次数以及 HTTP 状态码自动轮换代理。

根据单个爬取目标的优先级可以优先于其他目标提前爬取。

可控的爬取信息，会在终端输出彩色字符串信息。

拥有类型，通过泛型实现完整的类型。