⚙️ 参数 是什么？

⚡ 一句话秒懂

参数就是AI大脑里的小旋钮，每个旋钮调一调，AI的回答就不一样。

📖 举个故事

一个收音机上有好多旋钮。拧这个调音量，拧那个换频道。每个旋钮的位置决定了收音机放什么。

AI模型里的参数也类似。几十亿个微小的数字，每个都在说「如果看到这个特征，我对最终答案的影响力是0.023」——训练就是不断调这些数字，让它们组合起来能做出正确判断。模型越大，参数越多：七年前的模型只有几百万个参数，现在的GPT-4有上万亿个。打个比方：几百个参数像乐高小套装，只能搭个小房子；万亿参数像几万块乐高，什么都能搭。

💡 类比理解

暂未补充。

🧩 真实例子

暂未补充。

🛠️ 怎么实际使用

你想比较不同AI模型哪个厉害。别人说「这个模型有700亿参数，那个只有70亿」。参数越多通常意味着模型容量越大——能记住更多知识、处理更复杂的任务。

但参数不是全部。70亿参数的模型如果训练得好，可能在某些任务上超过700亿参数但训练粗糙的模型。就像一个大书柜（参数多）如果乱放书，不如一个小书柜但整理得井井有条（数据质量高）。

📚 进阶原理

参数是模型中可学习的权重和偏置值。一个典型Transformer模型的参数包括：注意力层的QKV矩阵权重、输出投影矩阵、前馈网络的线性层权重、层归一化参数、embedding矩阵等。

参数数量决定模型的存储和计算需求。加载一个700亿参数的模型需要约140GB显存（以FP16精度）。7B的模型可以在消费级显卡上运行，而70B+的模型通常需要多卡分布式推理。参数效率（parameter efficiency）是研究热点——希望用更少参数达到相近效果。

继续学习相关术语