各位佬们智能体的搜索技能或者MCP服务怎么搭建的

之前使用过openclaw、hermes以及claude code cli，我的任务大概类似于需要从互联网上大量爬取相关数据，然后让AI进行筛选（清洗）、提取目标字段、格式化啊存储到本地。但是这些智能体自带的web_search和web_featch感觉爬取到的信息非常有限，很多甚至都无法进入网页，只能爬取缩略页面关键词（可能是网页的反爬虫机制），而且在多次搜索后，好像还会被限流。而基于此需求，现在有很多针对智能体的付费搜索引擎（免费的类似duckduckgo很容易被限流），google、taivly、百度、阿里、智谱以及火山的，国内的我找了下当时是火山的智能体联网搜索API单价最便宜，一次是几分钱来着，但是我跑了一次上述任务，执行了大量搜索，直接烧掉200多块…太贵了，后面我继续searXNG搭建了一个免费搜索服务，但是效果还是没这些付费API好，但起码比原来自带的web搜索和捕获好多了。另外我观察到现在很多AI的免费chat网页搜索也比智能体自带搜索好，比如deepseek、豆包、gemini、chatgpt等，感觉这些网页聊天的背后应该也是接入了高级搜索引擎的 ^-^。