2. Linux.do
  3. 对于大模型训练集来源的处女情结有点重呢

对于大模型训练集来源的处女情结有点重呢

涅利娅 2026-10-22 08:19 1

在x之类的认为蒸馏违法，会嘲讽模型蒸馏的社区，你为了不被那群XX攻击，情绪化一点，这么说还好。


但l站、b站的主流观点一直都是大大方方蒸，蒸了也没问题吧。


在这种基础上，正常点讨论，而不是说一句就应激扣帽子，或者说一句就滑坡，不才是正道吗。。


而且，为啥技术社区讨论技术的时候，经常能上升到政治问题，甚至民族性什么什么的。


特别是只有XX才会，XX可不会 ————这种话，除了传达情绪，还有什么意义？拿一堆未被证明的前提去论证另一件事情，这样一辈子也证明不了任何东西，只会吵起来。

最新回复 (19)
  • Grogu 10-22 08:25
    1楼

    因为技术本身无国界，但是，做技术的人和企业都是有国界的

  • 涅利娅 楼主 10-22 08:27
    2楼

    问题是这是个技术社区，不是个政治社区……


    认为蒸馏没问题，OA大厂也蒸馏的，才是大多数

  • Z 10-22 08:29
    3楼

    以我的观察 计算机相关的技术人员因为接触外网比较多 反而是最容易键政的

  • 涅利娅 楼主 10-22 08:29
    4楼

    如果有个人发个帖辱骂DeepSeek只会蒸馏垃圾模型，

    就算是天天宣传蒸馏论的人，也会一起去骂他的。


    事实上就是在这里蒸馏不蒸馏并不是一个政治问题了，

    支持国模是底层逻辑，

    所以只是一个可以正常讨论的技术问题。


    这里又不是X

  • Grogu 10-22 08:33
    5楼

    如果技术真的无国界，那么，所有的模型应该也是无国界的

  • 涅利娅 楼主 10-22 08:33
    6楼

    很显然，我没说过技术无国界这种话。。。

    我只是说这里是技术社区

  • ks 10-22 08:34
    7楼

    既然技术都有国界，那技术社区自然也有

  • 涅利娅 楼主 10-22 08:34
    8楼

    讨论技术的社区不讨论技术而是去讨论立场和民族性，

    那么技术在哪里讨论呢？

  • 涅利娅 楼主 10-22 08:35
    9楼

    说到底技术社区有国界这件事情已经体现了，


    无论国模干了什么大家都支持国模，这是立场的体现。


    为了立场而刻意回避去讨论技术，才是本末倒置。

  • ks 10-22 08:36
    10楼

    本来就不可能完全切分，就比如某国的技术，自然会打上某国的标签，在讨论技术细节的时候也会带上

  • Grogu 10-22 08:36
    11楼

    那么，技术讨论就只是技术讨论，支持蒸还是不支持蒸也都只是技术问题，没有其它因素

  • 涅利娅 楼主 10-22 08:37
    12楼

    对，这是我的意思，蒸和不蒸都可以是正常看法，

    但是不要拿立场啥的扣帽子，双方都好好拿自己的证据老实辩论就好

  • ks 10-22 08:37
    13楼

    这个同意的。问题是有人会拿来故意拉踩

  • 白芸汐 10-22 08:38
    14楼

    蒸馏违法




    会嘲讽模型蒸馏



    蒸馏不就是Hinton在《Distilling the Knowledge in a Neural Network》提出的吗，这些人想反了整个深度学习领域吗？在大模型没出来之前用别人训练好的模型去指导小模型都是非常普遍的事情而且是普遍做法，要不然边缘设备就别用模型了


    还是说开源蒸馏违法，闭源蒸馏就不违法了 ^-^

  • Grogu 10-22 08:38
    15楼

    可是，就像前面说的，人是有国界的啊

  • 涅利娅 楼主 10-22 08:39
    16楼

    我首楼“但l站、b站的主流观点一直都是大大方方蒸，蒸了也没问题吧。”，这句话意味着，就算对面站“蒸馏论”，也不代表对面立场有问题，也不应该扣帽子。


    我原话也完全没说只有蒸馏论是对的，非蒸馏论是错的。


    我只是在呼吁讨论的时候正常讨论技术，不要再讨论立场之类莫名其妙的了

  • jcc 10-22 08:39
    17楼

    追求技术的人，是不会在意数据是用友商模型合成的还是用自己模型合成的


    他们关注的是，要能合成出来更多更好的数据，才能更多的提升性能


    就像o和a 不会认为自己使用版权书籍去训练会有什么道德负担一样


    当然。。。搞政治搞媒体的，可能喜欢这类有争议性流量的东西

  • koralis x 10-22 08:39
    18楼

    蒸不蒸馏是LLM供应商之间丢出来的炒热度的话题。

    LLM供应商之间比拼的只有机房实力和对MoE架构的改进优化深挖，什么勾巴蒸馏，人家厂商之间日常调情罢了 ^-^

  • 涅利娅 楼主 10-22 08:40
    19楼

    那是X的人的看法，不是我的看法

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐