最近一直开会做其他项目,非常忙,现在抽吃饭时间敲一下。老实说纠结了很久,要不要写这篇文章,害怕大家听不明白,思考了两天,终于知道该怎么给大家讲这个项目,本来想叫问数机器人,想了一下不合适,于是让AI想了一下名字,于是就出来了
智能数据管家Agent
事先说明,这个Agent真的非常难,非常难,涉及非常多的细节,对技术也有一定的要求,并且目前来看不能商用,找我咨询的那家公司,也只是内部数据岗人员小部分使用,我只能是尽我所能的用大白话告诉大家一些参考的方向,并且咋说呢,各家公司有各家公司的情况,主要就是分享一下思路,告诉各位佬友,原来还能这样!
我们先代入一个业务视角,站在业务的角度,假设现在要做一个问数机器人,也就是用自然语言出查询数据的机器人,比如你跟AI说查一下昨天的退款后GMV是多少,查一下某天的库存,AI就会相对的快速给你答案,但是事实上这用BI数据看板拖拉拽也能实现,只是提高了一点效率。业务本身更想要的是啥,我某个指标发生了异常,是什么时候发生的,导致这一情况出现的原因是啥,并且AI有没有什么建议能够给到我。就类似于说昨天的退款后GMV突然下滑了一百万,AI会自动推送给我,昨天某个产品由于价格上涨的问题,导致GMV下滑,AI建议上调价格这样。
这个Agent具体实现的功能如下
1.数据驾驶舱,能够将公司核心的指标都呈现,一眼就能知道当前公司的经营状况是怎么样的,比如会放当前的库存,当前卖了多少,目标完成度是多少
2.问数机器人,自然语言输入后AI输出数据或者Excel表格
3.数据预警,当某个指标发生重大变化是,直接查找原因,并推送到个人或群聊,并给出相对建议
来看下我是怎么去指导开发做的吧
这一切的前提在于指标体系是否完善,并不一定要求是全公司的,哪怕是某一个部门或者某个小子公司或者某个中心,都可以,这套方向指向性非常强,一定要结合业务场景去做,指标体系背后的话是必须得有数仓,主数据系统这样的系统去支撑,之前我是从0-1跟进了公司的数仓和主数据系统的搭建和开发,有一定的数据治理经验,所以我比较了解一点。
第一条蛮简单,就是把核心的指标梳理出来,比如库存货值,目标完成度,老板关心的指标都丢进去就好了,可以的话加上一个时间筛选器,BI也可以实现
第二条开始就难咯,问数机器人和数据预警,会有两个大难关,首当其冲就是数据安全问题,如果要把数据库直接丢给AI,是否安全,我们采取的方式是不管你用Codex还是用qoder或者是trae,采购企业版,签订安全协议,保证你的数据不外泄就好了。大部分公司都是这样的,没有绝对性的安全,如果一定要绝对性的安全,那市场上AI算法岗,还玩个毛线。接下来是AI会瞎编数据,懂得都懂啊,那也就是如何解决AI幻觉的问题,首先我们的做法(公司已有数仓),我们在数仓里针对销售,做一个销售大宽表,再做一个库存大宽表,一般公司这两个其实都够用了,其他要加也是一样的道理,并且把维度表跟指标清单一起,全部给AI,做好配置,数据准备好之后,再写通用性的大SQL,如果懂数据的应该能理解什么意思,就是不让AI直接写SQL,只让AI去以传参的形式,业务人员问什么指标,AI就传入什么指标,然后去执行取数操作,从数据源阶段就控制死,AI只能执行聚合汇总的操作。其次AI每次的回答要求,输出的数据必须带上查询了哪个表,哪个字段,什么时间段,过滤条件是什么,这样输出,基本上就没啥问题了,而且这个是给数据岗使用,即使有问题他们也看得出来,前期也会大量的去测试校验数据。再解决完这两个大头问题之后,就是如何把自然语言转化为数据语言,那做法大差不差了,就是做一个语义库,把自然语言翻译为数据语言,这个不用多说,感觉大家都理解逻辑。所以现在就很清晰了,我单独摘出来。
AI接收指令^-^结合语义库翻译为专业数据提示词^-^提取确认需要的维度和指标^-^传参执行SQL^-^AI汇总分析等^-^输出数据与结论
第三步是最后一步了,如何人AI去做到数据预警并输出具体的结论,这里就不得不提到一个概念了,指标拆解,这个动作只能是业务部门自行去拆解,当时我是协调了业务部负责人一起干的。
什么叫指标拆解,我这里利用运营的思路大概说一下
退款后GMV=流量(访客数)*转化率(人群)*客单价*退款率,假设现在退款后GMV下滑严重,就要去找对应拆解出的几个数据,假设现在流量,转化率都没问题,就要考虑客单价是不是过高,是不是被竞品给狙击了;假设现在客单价,访客数也没问题的情况下,消费者仍然不买账,就要看下投流手投的流量是不是不符合公司人群,投错了。如果前几者都没问题的情况下,那就要考虑是不是退款率过高,产品本身出了问题。
大概是上面这个思路,最终AI输出的结论,一定是有迹可循的,结合公司的场景定制化输出,不让AI自己瞎编。
现在所有的东西做好了,可以理解为就是数据监控+预警+对话都可以实现的一个Agent,适用于数据分析。
我上面讲的内容是比较通用可以参考的,具体问题具体分析,还是要结合业务场景。并且这个本身就是给数据分析用,辅助,需要不断优化完善,并且如果AI出错,人工还是可以干预和介入。做这个的主要目的还是为了后续的销售预测和库存共享等算法做铺垫。这个Agent目前在公司内稳定也一段时间,后面我没再关注,如果一定要说价值吧。那我就简单的说一说。
改变了过去的一个工作方式,过去是人去被动找数据,找问题,现在讲工作流程扭转,变为数据找人,以及问题找人。改变了传统的一个工作方式吧,变成是交互式的,AI给结论,人来不断调试。我相信这样持续长久的运行下去,对整个业务部门来说,价值是非常大的,而我也坚信,市面上每一家规模起来的公司,一定会做这个,大家可以自行研究研究。并且传统的数据分析,数据开发的工作岗位,一定会在AI的冲击下做出改变。就比如说过去数据分析里常常说做一个归因分析,AI出现后,就变了,就变成是AI告诉你原因,你要去想办法去沟通去协调去解决,无法适应这个工作方式的同学,可能还会被替代优化。我并不想制造焦虑,只是说实话,那一天不远了。希望大家还是有点心理准备。
谢谢大家,这个是我的思路,目前我们还是持续在优化中。另外我有做过数仓跟主数据系统,有一定的数据治理经验,如果确实有必要想了解这方面的业务,我可以单独出几期来讲讲企业怎么做主数据治理,怎么做数仓,指标清单怎么收集这些。
最后给一张图,AI生成的,Agent工作流,希望能给到大家一点灵感,最后叠个甲,觉得不对的,当看个乐子,吃饭去了,晚上还要开会,谢谢大家,祝各位佬友生活愉快。
