需要agent上网找页面的信息,哪一个好用呢?

Fengli88 2026-07-13 11:53 1

大概的需求是,需要Agent去访问现代的网站,没有学过前端,但是感觉现在网站它有很多子页面,有很多选项卡,有很多嵌套,如果用一般的爬虫的话,它爬不到页面,访问不好,有没有什么好的办法能够让Agent很好的去浏览网页呢?

最新回复 (7)
  • 甘城 07-13 11:54
    1

    使用具有 fetch 能力的 MCP

  • well 07-13 11:55
    2

    之前论坛有佬分享过一个smartsearch的skill,可以去github搜下,这个可以联网使用grok搜索.

  • Fengli88 楼主 07-13 11:55
    3

    佬友有没有具体的好用的推荐呢?

  • Fengli88 楼主 07-13 11:55
    4

    grok搜索感觉有点黑箱,感觉有时候对网页的解析能力不太好诶

  • well 07-13 11:58
    5

    集成了好几种搜索

    grok一般是做主搜索引擎的.还有tavily 和 firecrawl

    不想使用grok可以配置其他模型.兼容openai compatible协议的都可以

  • 甘城 07-13 12:02
    6

    大概的需求是,需要Agent去访问现代的网站,没有学过前端,但是感觉现在网站它有很多子页面,有很多选项卡,有很多嵌套,如果用一般的爬虫的话,它爬不到页面,访问不好,有没有什么好的办法能够让Agent很好的去浏览网页呢?



    如果站点本身对公开搜索引擎可达性就不错的话,Tavily、Tinyfish 都不错,也可以用 Exa 做语义搜索。这几个都支持 search 和 fetch;

    如果站点对搜索引擎兼容不佳,那可以用 Firecrawl,它能 map 站点然后再去找相应的内容。

    Tavily、Exa、Firecrawl 这几个服务都提供月度的免费额度;Tinyfish 应该是无上限。

  • LogDancer 07-13 13:21
    7

    我之前使用的是 smart-search ,配置了 grok、tavily、还有一个忘了;


    现在改成用 cdp浏览器扩展 + skill + 命令行工具(AI使用)的方式,交给AI来直接操控浏览器,让它当着我的面访问、操控网页;一是可以使用已登录状态获取限制数据,二来方便我学习它的操作思路。


    也是一个佬友开发的,地址是:GitHub - sleepinginsummer/agent-browser-cli: 使用 agent-browser-cli 进行浏览器感知与控制。适用于标签页扫描/切换、页面 JS 执行、Cookie、CDP、contentSettings、截图、文件上传、下拉框点击、tmwd_cdp_bridge 初始化和 Web 工具排障 · GitHub

* 帖子来源Linux.do
返回