好复杂……要长脑子了

灵感来源：

给定 π 的前 n 位，训练出的 AI 可以预测 n+1 及以后的所有位数吗？

1. 
   

   π（在我们所观测到的精度下，几乎可以确定）是一个正规数，每一位数 0-9 出现的概率严格相等；前 n 位数字与第 n+1 位数字之间没有任何统计学上的相关性，因此无法通过预训练得到的非线性公式（也就是参数+模型架构）预测下一位

   
   


2. 
   

   π是一个确定的可计算数，存在 Chudnovsky algorithm 等已知算法对π的真实值进行迭代计算；因此，当 n 足够大（题目中的 n 可以任取所需），计算机变量精度足够高时，存在一种可能性，通过大量数据得到的模型参数能够完美拟合 π 的真实值计算公式，并做出准确预测

   
   

讨论：

Q1：是否会出现过拟合/欠拟合问题

A1： 几乎必然会出现，因为 π 是一个正规数，其前 n 项几乎没有任何简单的连续函数特征，训练时几乎必然无法正确收敛

Q2：假设训练集和训练方法足够完美，足以让模型绕开所有的过拟合与欠拟合，那么可以在有限状态机中完成预测吗

A2：绝对不可能，有限状态机无法生成无限不循环序列，而 π 的每一位放在一起就是无限不循环序列

Q3：在以上前提下，我们将程序放在一个时空复杂度均无限的真正的图灵机这种，那么可以完成训练和预测吗？

A3：在没有先验知识的情况下，几乎不可能。假设我们真的给 AI 提供了 π 的前 n 位，并且真的让 Loss 严格归零，但是在数学上，依然存在无限多个完全不同的可计算序列，它们的前 n 位与 π 完全一模一样。在这种情况下，有且只有模型架构及训练得到的模型参数恰好完美符合 π 的真实值计算公式（如 Chudnovsky algorithm）能够完美拟合下一位，但能够吻合这一算法的测度几乎为0。同样的，没有先验知识支撑的 AI 算法也不可能将单一位的预测精度稳定地提高到 10% 以上。

Q4：假设我们在设计模型之初就引入了先验知识，通过模型架构和算法构造了一个完美计算 π 真实值的序列的算法，并且通过以上条件使 Loss 归零，那么可以完成预测吗？

A4：这就是套了层 AI 训练的皮的传统算法。本质上，现在的 AI 之所以区别于传统算法，正是因为它牺牲了精度、换取了处理混沌数据的可能性，因此它根本不存在“精确预测”的说法。要让一个 AI 做“精确预测”，即使目标不是 π 这样复杂的算式，而是一个简单的无限循环小数，最终优化也会回归到传统算法。

但是以上讨论似乎都预设了一个事实：

π 与其他无理数并无二致，且我们唯一知道的是它是一个无理数。

事实真的有这么简单吗？π 并不是一个真正的随机数，它的柯尔莫哥洛夫复杂度极低，虽然 Solomonoff Induction 在图灵机模型依旧中不可计算，但我们能否近似地设计一种简单假设，作为 AI 自我优化的条件以到解法？另一边，BBP 公式则揭示了 π 在十六进制下的特殊性质，它或许在其他进制或者复杂的几何空间中真的存在某种特征？

基于参数拟合的机器学习，其设计一定是或多或少地需要先验知识的：至少，你需要确保你的训练集并不是绝对的混沌和随机；正如我们了解了图像的主要性质、及图像识别的主要矛盾，才能设计出 CNN 来应对；一个毫无先验知识、不做特殊设计的机器学习算法注定无法达成目标。