首页 / 注意力机制（Attention）
📖 注意力机制（Attention） 是什么？
注意力机制是 AI 的“聚光灯”，读句子时重点照在关键词上。
⚡ 一句话秒懂
注意力机制是 AI 的“聚光灯”，读句子时重点照在关键词上。
📖 举个故事
小明问 AI：“把大象装进冰箱，需要几步？”AI 回答时，小明偷偷盯着热力图看：AI 读到“大象”时，“冰箱”两个字亮得刺眼；读到“几步”时，“需要”和“几步”亮起来。小明恍然大悟：“原来它不是逐字硬读，而是像人一样，眼睛盯着关键处来回扫。”这就是 AI 的“眼神”。
💡 类比理解
暂未补充。
🧩 真实例子
暂未补充。
🛠️ 怎么实际使用
理解注意力有助于调优提示词：关键信息（指令、数字、约束）放在句子开头或结尾，避免被“淹没”在长文本中间。开发长文档问答 Agent 时，把问题放在文档片段之后，并用分隔符包裹关键段落，模型更容易“注意到”正确内容，减少答非所问。
📚 进阶原理
Attention 的核心是 Query/Key/Value 三矩阵：Query 与各 Key 算相似度得权重，再对 Value 加权求和。多头注意力（Multi-Head）让模型并行关注不同关系。自注意力（Self-Attention）计算量随序列长度 O(n²) 增长，长文本需稀疏注意力或 KV-Cache 优化。权重可视化可解释模型“看了哪里”。