Astra的幻觉率还是太高了

WINDOWS.DO 2026-10-29 08:00 1

最近我的同事发现我平时写的代码含AI率为0%,他说,也许试一下Astra看看能不能完成一部分我的工作呢。


我想了一下,也许可以放手让Astra写上几行代码试试。半年之前似乎只有Opus 4.8和Fable能写出可以跑得通的R代码呢,虽然Fable的幻觉比Opus高不少。


我的同事们说,最重要的使用方式是明确需求,需要给它详细的指令,告诉他步骤是什么,每一步怎么做,需要用什么逻辑来。每一步都给它限制好,这样它才有可能会产出能用的东西。


我便花了一天时间写完了prompt。我看完没问题了,我也顺便边规划边写了一半代码。在第二天的下午我让Astra根据我的指令和计划实现一个非常小的需求,它便实现得非常完美,根本没有考虑到我已经写了代码,它在我代码的下面重新读入数据,一点都不关注我写了什么。


嗯,这点小事不算啥,毕竟我顺便蒸馏了我自己,GPT可以按照我的风格写代码。很不幸的是,即便我把我自己蒸馏成了Skill,Astra似乎并不想完全遵循我.skills。我便发现了非常多不遵循Skills要求的地方,便让Astra按照蒸馏的我来修改格式,给他列出来的一些点它每次并不会完全解决,总会留下一些问题。这就导致到最后的两百行代码非常晦涩难懂。


但是我可以边运行边看它到底写的是什么逻辑。


又花了我一天的时间运行完了这一坨狗屎,我不知道GPT是怎么测试的,但是我边运行边理解发现了Astra埋在里面的一些关键错误,而且Astra自己发现不出来。我试了一下Sonnet 5.5,这个模型也没有发现我的prompt和代码之间有任何问题。


Astra:↓


我又花了半天的时间改这一堆关键错误,终于跑出结果了——诶,我发现不对,彻底不对。我让Astra只做第二步,因为第一步、第三步和第四步的代码我已经自己写好了;它实现了第一步后,它用它自己专家级的理解,把第二步和第四步完美融合在了一起,而且加入了自己的创造力,从而达不到任何目标的成就。


举个例子,我的目标如下:


1. 画一朵云和风景背景,有自行车道,夕阳和落日,白云,有风(已经实现)
2. 画一只鹈鹕正在骑自行车。
3. 海绵宝宝在看鹈鹕骑车。
4. 派大星在飞机上要前往遥远的地方。
其中1、3、4我已经实现,请只实现2。我会将上述四个目标组织起来,你只需要完成第二点目标即可。

结果Astra的成品如下:


所以,Astra经过了一个半小时的思考,一天的时间改问题,最后得到了一个完全不能用的只有三百多行的代码,其中一半还是我自己写的。


我跟我同事说,看吧,AI还是不能用在AI4S上,它会搞砸一切。


算了,用Astra xHigh画一个骑车的鹈鹕看着玩吧

最新回复 (3)
  • 神影丹仪的老公 10-29 08:02
    1楼

    这篇 AI 小说也是Astra写的了?

  • k c 10-29 08:03
    2楼

    佬的工作场景是什么?astra都这么拉了?

  • WINDOWS.DO 楼主 10-29 08:36
    3楼

    生物医学偏临床。从我个人体感来说Opus 4.8和Opus 5是非常好的两个模型,至少写出来的R代码能用上一些,不像Astra这样完全用不了。不过Opus也需要人一直盯着,不盯着容易跑偏。


    我自己发现对于训练语料多的问题,比如让Deepseek或者GLM用ggplot2画个图,读个文件清洗个数据,做个统计分析,不给出精确的指令他们也能完成得很好。但是对于我最近这段时间让GPT做的东西来说,能找到的有相关的GitHub repo数量只有两位数,与它有关的前人研究数量小于5,还不确定这些东西有没有成为GPT的训练语料,似乎人工(或者是人工+Opus)反而是最优解。

* 帖子来源Linux.do
返回