2. Linux.do
  3. AI 时代思维框架-2

AI 时代思维框架-2

BA nana 2026-07-15 15:56 1

● init

├───╮

│ ○ AI 思维框架-2 feat:补充高维模型性质及技巧

╭───╯

● AI 思维框架 merge:重新梳理内容结构



这篇更多是对思维框架篇的补充，已经合并到主链



上一篇基于三维的地形小球模型来介绍性质，但是有些性质在高维模型下反而更加清晰


在高维潜空间内，token 在空间内不一定是孤立的点，而可能是一片区域

在互联网海量语料里，严谨 出现时周围往往带有术语、啰嗦的长句，这会在训练后让 严谨 这个向量与古板、学术相关特征纠缠在一起：





原本只想点亮逻辑性，但不可避免地激活了枯燥、学术废话等区域

更明显的例子 三色韦恩图：






当然，这种特性也并非坏事，高阶使用者（划重点）可以用更极限的 token 组合构建上下文，实现注意力更精确的控制，而不了解这个特性则会认为是模型能力缺陷（如果模型训练范式没有改变，依然是梯度下降去拟合自然语言分布，这个特性就不会消失）



利用这种特性通常有两个方法：显式配平、隐式提纯


显式配平

这是日常会用到的基础对抗手段，在下达精确命令的时候施加一些负向配平来抵消连带特征（相应的也会触发“粉红色大象”引起模型注意力稀释）：





但作为使用者，我们很难穷举引入的表达会有什么连锁反应，并且在长程任务中，这种显式表达会导致注意力漂移，有没有更好的方法？


隐式提纯

或者说寻找高纯度语义，我们在前文已经提过隐式优于显式，虽然这个技巧听起来要求更高，但是掌握一定技巧后，这个技巧会更可控


这里纯度的划分不是依据属性正交性，而是看它与目标场景的重合度，比如





回到主线，如何精准找到隐式词汇？前文其实有提过一个技巧：引导采样


模型在训练后会形成独特的地表空间，小球自然滚动落入的深谷，往往是在当前潜空间内纯度极高、更容易引发共振采样的区域


通过多轮的模糊描述来榨取高纯度语义后，回滚清除引导过程中的注意力污染，用这些隐式词汇重新组织对话得到的效果会更好：






在潜空间内还存在一类更极端的语义，它们处于高度解耦的状态，几乎不携带连带的特征


在海量语料里找出这种词汇很困难，但可以根据预训练数据源的宏观分布来预测这些语义的微观解耦特征，比如：


逻辑符号在预训练语料中高度集中在 arXiv 数学定理、逻辑证明，它们在潜空间内有很纯粹的因果约束力，在对话过程中加入一些形式逻辑符号就像生铁加入碳一样，能瞬间提高对话的数理框架:





好莱坞剧本语料里会用 (beat)、(whispering)、[INT. ROOM - NIGHT] 这类特定词汇，我们也能预测这些语义在潜空间中与 3D 场景构建能力、镜头感高度绑定，在处理空间、分镜任务中，与其用很长很空的指令，加入一些镜头标记可以激活镜头渲染能力





会计学追求实质重于形式，会讲求严格的资源权衡，我们可以预期会计学语义能强化对话中模型的资源分配逻辑






Callback 前面提到的，只要主流训练范式没有变革，自然语言在潜空间内的规律就像定理一样始终有效

运用这一规律并在合适场景下注入特定语义，激活推理所需的能力也是区分人才 AI 协同效率能力的很重要的标准。同样我们也可以预言自然语言潜空间里存在很多还没探明但极度微妙的 token 组合，只是我们需要一些科学的方法找到它们（怎么感觉像材料学了）



除了特征高度解耦的添加剂以外，也有很多能引发连锁反应的催化剂（上一篇里面有提到这个技巧，这里也不展开了）

最新回复 (12)
  • deepqueue ham 07-15 15:59
    1楼

    佬的文章我都是关注第一时间收藏，回头慢慢爵，希望系列更新快一点。

    我突然想起了，之前有佬说无论什么情况，先来一句“第一性原理” ^-^原来这是模型训练时具备的高速压缩包


    另外佬可以讲讲最近流行的skill 进化论类似xskill和上下文管理上的workspace notebook设计吗？本质上都是memory，我想整合到我的agent中，但是真的问了5.6 sol好多遍，我还是很难工程化。

  • twentythird 07-15 15:59
    2楼

    semantic density，高频字词这个我都晓得，这也有隐式我是第一次见


    有点像是first principle可以显著引导模型思考一样

  • Yangzii 07-15 16:08
    3楼

    通过多轮的模糊描述来榨取高纯度语义后，回滚清除引导过程中的注意力污染，用这些隐式词汇重新组织对话



    隐式提纯真的很好用，特别是一些风格化的描述，在需求阶段更应该投入时间来讲清楚 ^-^

  • 七叶怀瑾 07-15 16:09
    4楼

    看到佬讲出来的醍醐灌顶啊，我在自己使用的时候也有过这种感觉，就像是人的印象一样，一个显式的词语后面会有各种连带起来的隐形回忆在后面，共同促成了这个人在看到当前环境信息之后的的行为结果。


    人与人之间的交流也是一样，优秀的交流者会通过给定情景和条件以及修饰词语的范围来让传达过去的信息变得更加精准和有深度。那些著名的导演、作家、艺术创作者、演讲者和founder也都有类似的特质。


    人和他人之间交流协作的效率取决于自己从环境中提取关键信息、去除环境噪音选择最优解释，并通过各层次的修饰限制来提高向他人的信息传递的能力，也就是这个人在社会中锻炼出来的核心能力。（某种程度上来讲，洞察环境的规律并为己所用，这种能力可能是所有智能共有的关键能力？

  • 从城咸师傅 07-15 16:14
    5楼

    来支持了，大佬一如上期的高质量！

  • yzzliang 07-15 16:14
    6楼

    佬又发新文章了，第一时间过来学习一下。上篇文章虽然读的一知半解但是感觉也是有很大的收货。先收藏，之后慢慢研读吧

  • leokun 07-15 16:17
    7楼

    我来说一个，比如我们写某些网页的时候，你想模仿anthropic的网站风格，你交代了一系列的配色、字体等啰嗦的内容，最后仍然不具备美感，但是当你提到瑞士国际主义 Swiss Style，融合极简主义与少量北欧风类似的提示词的时候，界面风格就很接近。


    以上不是很具体的场景，只是印象中有次很高度的还原，艺术设计风格也是当时从提示词里面抄的

  • leokun 07-15 16:26
    8楼

    谁来尝试一下这个提示词「创建一个克制、安静、理性，但保留人文温度的个人 blog。整体采用 Neo-Swiss Editorial Minimalism（新瑞士编辑式极简主义），近黑暖色背景、陶土色品牌点缀」

  • noyyy 07-15 16:29
    9楼

    幸好坚持看完了，有很大收获，感谢佬

  • BA nana 楼主 07-15 16:40
    10楼

    skill 进化论



    模型厂商也是在用社区高质量的skill在训练自己的模型，所以模型进化的趋势就是能覆盖优秀的skill能力，很多通用的万能的skill都是临时产物（不过很多具体到工作场景的skill还是有用的，这种skill也不通用）

    另一方面自进化skill我现在看是伪命题，自然语言就是会有高熵的特性，另外每次更新skill后都会有信息的丢失，除非能解决这几点吧，不然我感觉这种都只是理想。可能未来有新的范式吧，但现在看不到…

  • evans 07-15 16:42
    11楼

    学的时候：有道理，学到了，那次任务我这么干会不会更好？

    关掉网页：刚刚我干了什么？

  • BA nana 楼主 07-15 16:47
    12楼

    人与人之间的交流也是一样，优秀的交流者会通过给定情景和条件以及修饰词语的范围来让传达过去的信息变得更加精准和有深度。那些著名的导演、作家、艺术创作者、演讲者和founder也都有类似的特质。



    所以能和ai高效协同的人，在面对真实人际场景下肯定也是非常强



    人和他人之间交流协作的效率取决于自己从环境中提取关键信息、去除环境噪音选择最优解释，并通过各层次的修饰限制来提高向他人的信息传递的能力，也就是这个人在社会中锻炼出来的核心能力。（某种程度上来讲，洞察环境的规律并为己所用，这种能力可能是所有智能共有的关键能力？



    压缩即智能，不过这部分和环境的交互有些像表征学习，现在很多世界模型就是在这个思路上设计，环境中哪些表征才是对我推理真正有用的

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐