首页 / Ollama
🦙 Ollama 是什么?
在自家电脑上跑AI,像安装普通软件一样简单
⚡ 一句话秒懂
在自家电脑上跑AI,像安装普通软件一样简单
📖 举个故事
小张想用AI但又不想付月费,也不想把数据传到网上。朋友推荐了Ollama:一款能直接在电脑上运行AI模型的软件。他下载安装后,打开终端输入`ollama run llama3`,几分钟后AI模型就在他笔记本上跑起来了。离线、免费、私密——他的所有对话都不会传到任何服务器。
💡 类比理解
暂未补充。
🧩 真实例子
暂未补充。
🛠️ 怎么实际使用
Ollama让个人电脑运行AI变得异常简单。下载安装Ollama→终端输入`ollama run qwen2:7b`→开始对话。支持下载各种开源模型:Llama、Mistral、Qwen、Gemma等。还能配合Open WebUI(一个浏览器界面)使用,体验和ChatGPT一样。适合需要隐私保护或离线使用AI的场景。
📚 进阶原理
Ollama是基于llama.cpp的本地模型运行工具,将模型权重、推理引擎和依赖打包为单一可执行文件。使用GGUF量化格式压缩模型体积,通过HTTP API提供服务,兼容OpenAI API格式。支持多模型管理、模型自定义(Modelfile)、GPU加速(通过Metal/CUDA)和并发请求。