随感

联想到基于神经网络的AI

现象

• 一个随机的神经网络，随机权重，随机层数，经过数据训练就能有相应的功能和“理解”能力
• 如果初始参数选择较好，怎能更快的收敛
  • 如果撞大运，直接选择到了最好的参数/权重，那就不用训练了！

思考

• 没有好坏，只有合适。
• 10个神经网络，都可以通过学习而掌握某一领域的知识，成为某一领域水平相当的专家
  • 但成本不同， 付出的代价不同，难度不同。（从初识状态收敛到较优状态）
• 10个孩子，都可以通过学习，数学考到130分。但有人更容易，有人更难。
  • 学习数学更难的那个孩子，可能学习语文更得心应手。
• 有的人，家里没有教育背景/学术背景，但从小就表现出了数学天赋，对代数/几何有天然的直觉
• 有的人，家里是音乐世家，从小就表现出了对音乐的理解力和学习能力。

结论

• 本质是结构的不同。
  • 结构是可以通过学习调整的。
  • 结构是可以遗传的。
• 所谓天赋就是天生的大脑结构，比较适合某一领域的技能。

预测

• 未来可能有一个大而全的AI模型，但更多的应该是在不同领域精调的领域专家模型
  • 类似人类，有经济学家，生物学家，物理学家，而不是一个全能的”全而精“的人（这该是个什么样的网络呢？）

延展

• everything is data, difference is the structure.
• power is the ability to shape structure.
• power is in the structure.