首页 / CPU（中央处理器）
💻 CPU（中央处理器） 是什么？
电脑的「大脑总管」，但干AI的粗活不如GPU快
⚡ 一句话秒懂
电脑的「大脑总管」，但干AI的粗活不如GPU快
📖 举个故事
老张在旧笔记本上装了一个AI聊天程序，等了半天才有回复。朋友告诉他：「你的CPU在干AI的活，就像让一个大学教授去搬砖——不是不能干，但不是最合适的。」CPU擅长处理各种复杂任务调度，但AI模型需要同时算几千道数学题，这活更适合成千上万个核心的GPU来干。不过得益于量化技术，现在CPU也能跑小模型了。
💡 类比理解
暂未补充。
🧩 真实例子
暂未补充。
🛠️ 怎么实际使用
CPU也能跑AI，适合轻量级场景。用Ollama在CPU上运行：不装NVIDIA驱动，Ollama自动用CPU推理。7B模型在CPU上大约每秒输出5-10个token，比GPU慢但可用。CPU推理的优势：兼容性好（任何电脑都行）、省电（不用独立显卡）、适合批量离线处理任务。推荐使用GGUF量化格式的模型，对CPU友好。
📚 进阶原理
CPU推理依赖通用矩阵运算指令集，如Intel的AVX-512、VNNI和AMD的AVX2。相比GPU的数千核心，CPU核心少但单核频率高、缓存大。llama.cpp项目针对CPU推理深度优化，利用内存映射（mmap）减少加载时间和内存占用。现代CPU通过AMX（Advanced Matrix Extensions）指令集可显著加速推理。