不知道大家对“词元”这个翻译，为什么反应这么大

个人觉得虽然翻译的不好听(个人喜好),但该用用,没啥问题.

当然是因为这个词被政治化了，任何东西被政治化了，那么一定就有支持者和反对者

因为它现在不仅仅是一个翻译。官媒已经把它上升到“话语权”和“数字主权”的高度了。

举个不相关的例子。就是英雄联盟里“暮刃”这个装备名，自从被当成男女斗争的名词之后，那它就不再只是一个装备名了。

不够信达雅 直接

把 RSA 给“正名”了才算本事， 比如说改叫朱雀算法之类的
token->词元， 没难度， 别邀功了

@valorChang 这图 WiFi 就能直接用，为啥 token 就得翻译

因为政府推了所以他们反感。。为了反对而反对。

词元这个翻译不是在今年 3 月才被正式定下来吗？
大伙已经用惯 token 了，而且「词元」并不比「 token 」简单。
你要用你用，也不是不能看。你别强迫我用就行。

@aliveyang 🤔说到 Wi-Fi 就想起来了，我们这边不是应该叫 WLAN 吗？

感觉英文里 token 也不是很确切，但是又没有更好的表达。词元感觉有点怪，没有别的用了，先将就着呗
最近 AI 界造新词太多了，那个 vibe coding 都啥啊，词不达意也流传开了么

人的认知决定了立场，说词元这个翻译好的，基本都只是安身一隅，不懂 token 这个词在不同场景下的不同意思。
你凭什么用这个词在 LLM 里的含义，去全盘翻译这个词语？这个翻译甚至都不能涵盖自己领域里的概念，如 Image tokenization.

不如叫 偷啃

@ty29022 你说的是李维斯特–萨莫尔–阿德曼？

@latifrons 说别人“立场决定认知”，结果自己的论据却是“这个译法不能覆盖 token 在所有领域的意思”，恰恰说明讨论的不是术语准确性，而是在先有结论后找理由。

这个词翻译的很好，信达雅兼具，比令牌什么的可靠谱太多了

@anheiyouxia 很多人觉得翻译的好，不就是因为他们自己的视野局限在 LLM 领域，却忽略了万物皆可 token 化的事实吗？ token 之所以难翻译，正是因为万物皆可 token ，你凭什么非得翻译为词元？不就是 LLM 最近火，谁火谁说了算吗

@latifrons
你在这里说别人局限于 LLM 领域,搞笑的是人家当时已经明说 "词元" 就只是 AI 领域下的翻译,没跟你说其他任何地方都交"词元".
很明显你就是那种为了反对而反对的人

@latifrons 按照你这句话来理解,把"鼠标"这个词都是错的

1. 中文是表意文字，词元确实不能很好的表达 token 这种多含义，很抽象的词。
2. 词元确定时间较晚，先入为主确实很重。
但是我还是觉得翻译的及格，至少他没有为表达上带来成本，不能覆盖 token 的所有含义，以后再增加不同场景的翻译就是，中英词语如果要意译本来就不是一一对应的。
16 年左右闹得沸沸扬扬的中文保护运动，所有游戏里面的 exp 、hp 、mp 都要用中文表示，影视作品不能产生英文缩写，那段时间确实有恶心到人。去看个电影字幕是脱氧核糖核酸，平时看的少脑子里要转一下影响理解，玩个游戏本来就在很有限的 UI 位置塞下不方便缩写的中文。后面上面发现确实有点矫枉过正了，对合理的英文字幕简写也放松了。

因为那些人都很恨自己皮肤是黄的，出生在这片土地上，把这个词汇当成了政治的切入点。

@anheiyouxia 我认为我是一个非常客观的人，就事论事，好就是好，不好就是不好。
如果你想在 LLM 范畴里讨论用词准确性，那我奉陪。

提问，把一段包含了数字和代码的文本做 tokenization ，算不算词？把中文的文本每一个字做 tokenization ，算不算词？把英文的一个单词打碎成两个 token ，算不算词？

楼上一堆说没翻译好的，是不是忽略了这个世界上还有 99% 的人是不懂 AI 原理的普通人？说别人安身一隅，搞得好像你们格局和视野多宽广一样。

还大伙用惯了 token ？你们专业人员爱用 token 就继续用呗，所有的翻译不都是给普通人准备的吗？你们都知道万物皆可 token ，所有领域都能 AI 。那你们怎么不知道普通人也要接触 AI 呢？

按着他们的头让他们说 token ？摸着良心问问自己，不懂 AI 原理的人理解词元简单还是理解 token 简单？

非要扯到“官媒政治化”、“数字主权”，扯政治化、数字主权 AI 圈政治化也不是国内先开始的。别人政治化、数字主权就合理，国内就得喷一喷？

@latifrons #23 其实维基上把这个词的各个语境的翻译都说清楚了 https://zh.wikipedia.org/wiki/Token

‘token’是‘文明’中心的语言，‘词元’是‘文明’边缘的语言，用‘文明’边缘的语言去替代‘文明’中心的语言就是僭越
你跟他说‘token’就是高大上，是自己人，说‘词元’就是土鳖，是野蛮人
不就是这点小心思么，有啥难理解的，偏偏不敢直抒胸臆，只能绕圈子找借口切入，皈依者狂热又不是一天两天了🤣

@latifrons 为什么不算?
token ≠ word

我理解主要是反感被逼着用，不用就是大逆不道的感觉吧

跟端午安康类似

@Tink 是啊，正因为你所列举的这一页里的所有翻译我的工作内容都会涉及到，所以我更认为 token 就放在那里叫 token 就好，别翻译了。

@latifrons 按照你这个逻辑，英语里大把的词都是多含义的，那就都不要翻译呗。

@latifrons
```
@latifrons 为什么不算?
token ≠ word
```
这个我说得不对,人家的词元,是词元,不是词,词元它就不等于词,词元是文本经过切分后所得到的最小离散单位

@latifrons 词元最麻烦的其实是不好接 tokenizer ，总不能真叫词元化器吧？

@lscho 那就先让大家把 AI 统一成人工智能再说吧……

@latifrons 这又是另外一回事了

@bertonzh 对啊，你明知道这种映射关系是一对多的，那不如就别翻译了。
这个问题来源于隔壁帖子讨论 opencode 的那个 PR ，要不要把 token 在 zh-cn 环境里展示成词元，从 PR 的回复来看，大家都很有意见。

讲道理，如果不知道 AI 之前，这个词出来压根很难联想到是什么意思，词元不就是字吗。说到底这玩意还是要一段时间普及了才会广泛接受。

有一部分人无论老中说什么做什么他都会挑毛病的

因为反应大的能被看到
像我这种无所屌谓的相当于直接隐身了

“大家好，这里是美国男子篮球职业联赛”
“此次办案民警收集到了脱氧核糖核苷酸”
“软糯弹牙，弹牙，弹牙……”

因为大家都是程序员，都知道 token 的意思，你非得翻译成什么什么元，我肯定不同意也不支持。

但是我身边很多学汉语言出身的朋友，大多感叹翻译的不错。确实得承认「词元」对于普罗大众群体来说，是一个比较好理解、同时贴近 LLM 实际意义的一个翻译，也不会污染 token 的其他意义。
而且公文写作上，用英文是大不敬，自然强翻也得翻个中文词出来。

表音即可，非得表意是什么怪物，中文就没有的玩意非得表意不是神经病么，樱桃叫车厘子没一个人 bb 。token 非得翻译成词元你们到支持上了。车厘子不就是大樱桃，中文又不是表不了意思。算了不说了，越说越生气，啥都得整上意识形态，没个好

@anheiyouxia token 其实核心内涵是符号化。所以应该叫词符和词符化器。“元”强调的是不可再分性，这一条并不对所有模型具有普适性。

无所吊谓，人官方场景下自己用用，又没强迫你不能使用 token ，llm/dna 等词也有自己的翻译，也没妨碍随处使用

@awesomePower 作为全球第二大 AI 技术力的国家，要是连翻译 token 这个词的权力都没，那真就是没话语权咯

@aliveyang 因为 wifi 是缩写，而不是一个词

@VirgilMing 为啥要用欧美的思维去翻译文字，token 词元、tokenizer 分词器，把句子分成词元，非常顾名思义的用法。

这里的问题是有一部分人就不喜欢中文在 llm 这里对应 token 有一个确切的词语去翻译，认为无法 100%找到一个在任何含义上都可以解释英语 token 的中文就不应该翻译 token ，我个人认为这是一种摆烂心理。

至于部分政治化科技术语的人我觉得大可不必把他们当回事，这些人任何议题都能一转键政，纯粹魔怔精神病罢了。

@Essaim 词和缩写是两回事，DNA 的中文翻译就是脱氧核糖核酸，但太长，所以大家都说 DNA 。缩写的目的是为了简单。而且像 DNA 这个缩写具有代表性，很少有类似的缩写。但 token 是词，而且是一个广义词，容易误解和造成沟通障碍。就像你把 exp 、hp 、mp 放到其他场景，别人能理解吗？而且翻译成经验、血条、蓝条，别人一听不就知道是游戏了吗？

@coldmonkeybit 没人逼着你用，但你自己会，就代表所有人都会了？这不就是以前那些海龟在国内跟人聊天，动不动喜欢飙个洋词，彰显自己与众不同一样吗？

@Cruzz 车厘子这玩意现在在国内的含义特指南美如智利那边的欧洲甜樱桃，跟国内的中国樱桃根本不是一个种，就跟德牧这种狗特指德国牧羊犬一样。你这举例是错的。词元和 token 至少在含义上一致的

@latifrons AI 是缩写啊，中文翻译就是人工智能。。。。token 是单词，不是缩写

@Cruzz 那你要说凤梨和菠萝为啥要分开取名？因为本质不同！ token 这个词太广泛了，但词元单指 token ，方便孩子学习和理解。不然你今天 token ，明天那个 token ，谁知道你说的 token ，是不是我理解的 token 呢？

为什么还有这么多人一本正经解释的？难道提问的人心里不清楚答案吗？

@anheiyouxia 你但凡看看一楼的图片，就不会说出这种话了。抛开事实不谈，有意思吗？

大部分反感的人，一问他为什么，他说以为元是金钱单位的意思。
只能说中国人近几十年的仇富教育，已经到了看见袖子就联想然后反感的情况。
词元这玩意儿本来就是分词法里的老翻译。

根本不需要解释。

@longaiwp 这么喜欢意淫吗

@PolarBears #11 wifi 和 wlan 不是一个东西

敌人支持什么，我们就反对什么
词元派的归宿必将是路灯
胜利属于 token ，胜利属于觉醒✊✊

# 42
大部分人是因为这个反感吧，就喜欢唱反调

抛开政治因素，词元这个翻译的确比令牌要合适，当然直接用 token 更自然，大家已经习惯了

扯到话语权，纯属扯淡

Wi-Fi 国内翻译是无线局域网吧
个人感觉，不懂的人即使用词元来解释也不一定懂，最后可能还是得搜索词元是什么意思
反正我就用 token 交流了，懂的人自然懂，不懂的人我不会觉得用了词元就懂，就像访达，鲁性棒，说了也不懂，访达直接说苹果文件夹还更能让对方理解

想起讀書時代 那些晦澀難懂莫名奇妙的名詞

@latifrons 现在普通人和正式表述本来就是人工智能。。。AI 就是小圈子里用的缩写而已

@longaiwp
CCTV 自己不是说党媒姓党吗？怎么骂一下也不行，又开始上升到代表全中国人和全球的黄种人了？

@lurenjia12138 呵呵,抛开事实不谈,CCTV 又不是真理机关，它用错了只能证明写这篇文章的媒体人煞笔,就好像"内存"这个词一样被滥用到什么地步了。我们讨论的是译名是否准确

@BeautifulSoup 你说的有道理，词元还不如词符，因为正好跟字符对应哈哈。

@anheiyouxia #65 这时候又不是"真理机关"了... 某某团体叫"央妈"可不是这样的哦

政治问题我觉得很正常，就怕偷梁换柱，词元!=token,追的是偷梁换柱后的利益
比如：
*省畜牧兽医局
http://xm。s*g。gov。cn › art
业界正名：“淘汰鸡”更名为“老母鸡” - S*g
8 月 20 日，在 2024 肉禽产业发展大会上，中国畜牧业协会联合 13 家省级、市级行业协会和 42 家头部家禽养殖企业，共同发起倡议——把饲养一 …

@mrabit 你的政治正确不是我的政治正确,你觉得她是真理机关,不是我的真理机关,她是你妈不是我妈

https://imgur.com/a/rrcAFfK

别纠结词元了，央视认证

@latifrons 你也知道一词多义，针对这个场景翻译成词元非常贴切，并不影响令牌等含义的场景。被外行滥用的另说

@latifrons
英语一词多义是英语自己的问题。
不同领域用不同翻译，不是很正常的事情吗？
比如“bus”这个词，在交通领域是“公交车”，在计算机领域是“总线”，在餐饮领域是“收盘子”。
也没人强求一定要用一个词把“bus”全盘翻译了吧？

哪里是翻译问题，
一些人借着这个事情唱反调罢了，

讨论翻译好不好的问题，
好歹前提还是英文单词应该翻译成中文词语，

现在有些人已经开始说不应该翻译了，
这还有什么好讨论的，
接下去就是中文汉字的劣根性，英语的优越性，
为什么要用 cctv ，
为什么编程语言不用中文，
为什么中国人要投稿英文期刊，

我在几个论坛反反复复看到这种逆天论调，
真是用《撒泼打滚》来形容这些人最合适了。

@zhengqiang64 #45 不仅仅是话语权的问题，这本质是默认了中国人是必须懂英语的，所以他们不会问为什么中文不夹带俄文单词，为什么不夹带德文单词，为什么不夹带日文片假名，因为真夹带了，他们也看不懂啊。

不是大家对词元反应大，是有人对 token 反应大，谁先反应大的很清楚吧，别倒打一耙了。要是你在 2000 年先做图形处理器，2010 年先做深度学习，2020 年先做预训练生产模型，那洋人也得用令牌和 lingpai

@FlashEcho #74 勘误：生产->生成

AI 里面应该翻译为词元，授权应该翻译为令牌....

2026 年：国家数据局相关报道明确将大模型语境下的 Token 译为“词元”，并披露中国日均词元调用量已突破 140 万亿，显示 Token 计量正在成为人工智能产业商业化的重要基础。

#1 CCTV 那个图也不知道是那个专家这么没有文化...

token 这种语义泛滥的垃圾词，恰恰证明了英格利什的野蛮落后
词元 这种信达雅的翻译的出现，是文明进步的象征

@FlashEcho #75 翻译个单词就成对 token 反应大了？

@tty0 我也觉得挺好的，你看涅槃这个其实也是梵语的直接音译，但是过了几千年，已经是自古以来的中文词了。偷啃这个词简直完美的复刻了发音，妙啊。

事关科技话语权
https://www.zhihu.com/question/2068659657892278726

@ybybwdwd #80 《用“Token”还是“词元”，事关科技话语权》，这不叫反应大，叫什么？

“词元”这俩字本身没啥问题，烦人的是现在仿佛无论说“token”还是“词元”都成了一种二选一的政治表态

有些词是不该翻译的，就像 socket 、handler 一样。生造词反而增加障碍。

屁股不同，立场不同。
那些非技术爱好者，给他们讲 token ，他们会觉得你装什么逼？
对于已经习惯了 token 的技术人员，硬要改词元，会觉得侵犯了自己的选择权的习惯，是吃多了的行为。

token 中文理解，字数，多少的意思吗？为什么还要搞一个词元怎么想在历史上留名吗？

我说白了，就两种人：
一部分是反贼为了反对而反对；
一部分是一些“高贵”的程序员，表意中文是万万不能用的，宁可叫令牌也要凸显自己和普通人的区别，怎么能让普通人一眼就懂是什么意思呢，坚决反对。

“你们都用词元
但我用 token
就很…你懂吧”

@latifrons #35 有点乐了哥，“我认为我是一个非常客观的人”哈哈哈

“你凭什么非得翻译为词元？”没人规定只有词元一个翻译啊，你要是科班上过计算机网络，大概率能想起来有个叫“令牌环网”的东西，你看看它英文叫啥？先不论这个翻译好不好。
同一个词在不同语境下有不同的翻译，这太常见了，怎么到到 token 这就宕机了呢。

因为 token = 词元
所以：
区块链 NFT 的收藏品 叫作 NFT 词元
API 加密用的 token ，也叫作 API 词元，OAuth 词元
编译器词法分析之后的 token ，比如 int 的词元类型叫作 keyword
Token bucket 限流算法，之前叫作令牌桶，现在要叫作 词元桶？

是这样翻译吗？
什么？你说不行？只有 LLM 的 token 要叫作词元，其他地方的 token 不能叫作词元？

汉朝的时候，发生过一件事情
那时候有个人翻译佛经，他发现梵文里有个概念，汉语里无法找一样意思的词语，他没有搞了一个类似“词元”的词来意译，而是用音译，叫作“般若”，发音也不是 ban ruo ，是 bo re 。
我想现在这些赞同“词元”的人一定认为这个人是个傻逼。
这个人为什么这么做？我想他第一：谦卑，他不认为他可以代表所有人去意译。第二，他不想剥夺其他人重新理解这个词的机会。到现在，汉语里也没有能够 100%代替般若的词。

反观 2000 年后的今天，出现一个汉语不能 100%替换的词，此时，还要竞争一番，还想意图替代掉原词的意思。竟然还有那么多人点赞，不得不说，这是一种妥妥的倒退，这些人的眼里，只有种族，只有赢。

我们很多时候说的 token ，实际上就是它的本意：代币。是作为一个计费单位的。资本是贪婪的，是要赚钱的。使用词元作为这样的场景的翻译，是对资本的洗白和美化。这里的 token 与我们很多时候所说的传统的 token 是一样的，比如天气 api 的 token 。这与人工智能没有强关联。key 具有使用 token 的能力，就像一个钱包，和过往一样，人们在某些场合也将其称为 token 。

可笑的是，credit 横空出世。可是为什么不叫积分呢？是谁发明的啊，好奇怪啊，一定是外国人吧。这下子，钱得先“购汇”买积分了。

抛开立场不谈，其实也是某种隐匿的羞耻心理和优越感吧，觉得 token 翻译成词元是把一个熟悉的东西变成了一个陌生的东西，把一个“有着丰富的难以言表的意味的词”压成了一个“扁平”的汉语词汇，好像自己失去了什么。

实际上大家工作中爱咋说咋说呗，这种翻译都是面向最广大的群众群体的，不是所有人都有英文能力和行业背景。

换位思考一下，如果现在把别的领域的专有词汇和概念全都换回外文，难道就很舒服么？多少人知道 “扑热息痛”“布洛芬”原文怎么拼写？再去医学书里随便挑几个病症名看看呢？

主要是 token 翻译后的泛化问题。

比如#1 那个图。

要是单指 llm token 的话还勉强能理解为是考虑到 ai 时代大家都在用搞的一个折中，虽然个人也是非常不喜欢。

关我屁事和关你屁事的典型代表 😅

可能反感的人是因为当初翻译出来的时候和“争夺 AI 话语权”这种事做强绑定吧。谁能想到话语权不是靠实力而是靠取名呢🤣

过度反应，就用英文怎么了

@valorChang 阿哲。。是 accessToken 吧

现在连一个词也能上升到宏大叙事，赢麻了

都是闲的蛋疼