dsv4f:世界未解之谜之后训练为什么改变了知识库

邱埋葬 2026-07-31 14:26 1




新模型知道25年11月份及之前发生的事件,旧模型不知

最新回复 (16)
  • 欣欣|林可欣 07-31 14:31
    1



    知道了,但是不完全知道

    后训练又蒸馏了一点说是()


    看了一下也有概率答对 所以还是要考虑一下幻觉率



    根据社区这个帖子

    dsv4f:世界未解之谜之后训练为什么改变了知识库 - 国产替代 - LINUX DO



    看来是的


  • 凌风神舞 07-31 14:33
    2

    之前泄露的4小时对话, 梁圣曾提到, 希望模型能够自己学习, A\也表达过类似的观点, 由模型自己去开发下一代模型, 所以我推测, 是否模型能够自我学习的一个标志就是, 更新自己的知识库, 举一个不恰当的比喻, 可能类似于很多Agent的记忆系统?

  • Hifumi Mizuhara 07-31 14:33
    3



    知道但不完全知道^-^

  • 惊鱼 07-31 14:40
    4


    看起来分词器没改, 不然就太离谱了

  • jcc 07-31 14:41
    5

    传说中的持续学习


    一个基模,然后他自己能像人类一样,持续的去学新的东西


    这是ds选的实现agi的路线

  • Hifumi Mizuhara 07-31 14:42
    6



    Web应该灰度了,思维链形式^-^

  • 嬴麻 07-31 14:43
    7

    我网页版上问,日本首相还是石破茂

  • 欣欣|林可欣 07-31 14:45
    8

    但是哪怕是API 对于此问题仍然不了解



    两轮均未改变回答

  • H3ury 07-31 14:46
    9

  • 惊鱼 07-31 14:48
    10

    奇怪了, 难道我没用上最新模型, 那要是分词器都改了, 还能是后训练么, 牢梁梁圣你不诚实啊. 我用的 openai-responses 协议, 思考选的最高(但是没出思考过程?) 不知道是不是cherry思考强度映射没写好


  • Hooledy 07-31 14:50
    11

    奇怪,我这里不开思考没法通过,但开思考可以,思考强度越大通过概率越高

  • H3ury 07-31 14:52
    12

    搞不懂他这个,很多佬说知识库时间变了,但是我的没变,还是只有claude 3.5

  • coat 07-31 15:57
    13

    为什么你会觉得后训练改变不了知识库…举个例子,微调一个领域模型,你觉得它对这个领域的知识有没有增加?

  • 邱埋葬 楼主 07-31 21:44
    14

    后训练不能大幅改变知识库应该是公认的吧?


    我感觉正如v4f自己所言,知识库没有更新,只是如你所说,在训练的过程中一些大事件的知识流入了v4f,导致了模型偶然会知道一些知识库截止日期之后的事情。

  • 月落晨曦 07-31 21:49
    15

    这样的话他的规模会不会变大呢?

    如果规模不变,那新的知识放哪呢,如果外挂向量数据库,那和现有的联网搜索有什么区别呢?

    如果规模会变大,那新发布的说规模没变。

    压缩也是有极限的吧。

  • BOOSTMEISTER 2014 DH 07-31 21:52
    16

    你这个说法太扯了,我也不知道怎么实现的,但绝对不可能是自进化。官方都说了只是后训练。后训练是可以提升知识调用的。

* 帖子来源Linux.do
返回