怎么实现让 AI 对百万数据进行本地分析？

leven5 2026-09-09 17:09 1

目前的需求是，获取服务端数据交给 workbuddy ，让 AI 根据我提供的列名自行编写脚本，过滤、汇总出用户想要的数据。

由于没有参考对象，不知道应该怎么开发，我想的是：

写一个 MCP 获取数据，然后把数据集保存到 jsonl/xslx 等临时文件中，以 resource link 的形式返回给 AI ，并返回列名、字段类型、数据条数等元信息。

AI 得到路径后，自己写脚本开始处理数据，然后返回给用户。

但是我文件写到哪里？如果直接往 userdata 写的话，那垃圾文件只会越来越多，而且也不会随着对话的删除一并删掉。

这种功能一般是怎么实现？只能是服务端分析完，把结果返回给 AI 吗？

最新回复 (18)

victorc 09-09 17:27

1楼

你直接问 ai 就行了，网友智商更低
YanSeven 09-09 17:57

2楼

听着有点像是要对离线数据做批处理和离线分析一样的需求，可以把场景和需求描述地更清晰一点，让 ai 往这个方向给给意见建议。主要是，啥数据，要分析啥。
blackPanda 09-09 18:00

3楼

那必须 duckdb 啊
kevan 09-09 18:05

4楼

deepseek harness dataagent
itfarmer 09-09 18:27

5楼

@blackPanda 👍 duckdb 最适合干这个，不要让大模型去处理大数据
llsquaer 09-09 18:31

6楼

感觉你这个分析的话，应该是分析的逻辑，而不是真正的数据处理。真的几百万数据大模型也吃不消啊
yjiefl 09-09 18:51

7楼

先跟 ai 聊目标和数据情况
413420 09-09 18:55

8楼

做不到
swczxf 09-09 18:56

9楼

让 ai 写个离线分析的数据库，然后把数据插入数据库，再写 sql 分析
liaanj 09-09 19:40

10楼

问我们干嘛问 ai 啊，而且你直接把数据放在那里，ai 会读取的
iiduce 09-09 20:27

11楼

把数据放数据库里，让 ai 操作数据库
NQ 09-09 21:02

12楼

写脚本处理的话，把数据都下载下来让 AI 自己抽样就行了，全量 LLM 语义分析估计得几百亿 token 。
moefishtang 09-09 23:38

13楼

@swczxf 有 duckdb 浪费 token 写数据库干嘛…脱裤子放屁…
Ericcccccccc 09-10 00:00

14楼

问 ai 怎么搞方案
kuhung 09-10 00:09

15楼

换个能力更强的，他们一般会搞个临时路径处理
a569171010 09-10 00:57

16楼

OLAP ，让 AI 写 SQL ，跑完结果给 mcp 。其实就是服务端分析完。
qweruiop 09-10 09:35

17楼

直接 duckdb
xsonglive491 09-10 11:34

18楼

我觉得 1 楼说的对.你应该先写几个不同的小 demo 当作指导