2. V2EX
  3. AI 浪潮这么大，为啥没有一个小白也可以直接上手的数据抓取工具呢？

AI 浪潮这么大，为啥没有一个小白也可以直接上手的数据抓取工具呢？

happydebug 2026-07-09 16:46 1

最近一直想抓一些舆情文章然后沉淀到自己的本地知识库中。尝试了各种工具，codex 控制浏览器，小龙虾控制浏览器，codex + 各种 skills 。都无法高效 批量抓取目标数据。是我看的世界不够大吗？只能写代码？

最新回复 (5)
  • xy2401 07-09 16:47
    1楼
    因为目标站也很辛苦在做反爬啊
    -----
    codex 控制浏览器手动登录后 应该就没什么限制了吧？
  • x86 07-09 16:49
    2楼
    AI 爬虫 VS AI 反爬虫，魔法对魔法
  • ota 07-09 17:16
    3楼
    firecrawl 对开放的网站适配程度还行，可以试试。清洗入库最终还是得自己（ AI ）写代码的
  • irever 07-09 18:48
    4楼
    想要“高效批量”，大概就需要走协议，需要摸清目标站点，然后代码来实现，这点 AI 现在也能做。
    这跟“小白”简单明了“直接上手”是相悖的，你想要的是浏览器、可视化、自动化，就会伴随着低效（速度慢）。
  • frayesshi1 07-09 23:59
    5楼
    各种 agent 都使用过，连一个股票实时价格都不能按时读取
* 帖子来源V2EX
附近帖子
返回
飞读
随机推荐