AnyCrawl: 基于 TS 的高性能爬虫,用于将任意 Web 转为干净的数据喂给 Agent

thans 2026-08-06 00:14 1

求 Star:https://github.com/any4ai/AnyCrawl


主打这些功能:



  1. 搜索引擎抓取:支持多个搜索引擎,批量操作友好

  2. 网页内容提取:精准抓取单页内容

  3. 整站爬取:完整遍历采集网站内容

  4. 性能强劲:支持多线程/多进程

  5. 批量任务:稳定高效处理海量任务

  6. AI 智能解析:用大语言模型( LLM )从网页提取结构化数据( JSON 格式)

  7. 完美适配 LLM:集成简单,开箱即用

最新回复 (2)
  • YAFEIML 08-06 08:33
    1
    star 支持
  • thans 楼主 08-06 11:46
    2
    @YAFEIML 感谢!
* 帖子来源V2EX
返回