如何搭建一个网站探索agent

有没有佬分享一下好的agent思路或者框架。我是要做一个网站探索agent，探索比如政府法律网站，然后把里面有价值的法律消息抓取下来本地保存。之前的思路是穷尽所有的网页路由，然后让ai逐个读，再提示词让ai把有价值的内容写下来，但是实际用下来发现一个网站就可能有上万个路由了。抓下来的内容也不是全都有价值的。人工过滤一次之后可能只有不到10分之一是保留的，想请教一下站内大佬有没有别的好一点的解题思路。