首页 / Ollama

🦙 Ollama 是什么?

在自家电脑上跑AI,像安装普通软件一样简单

开发工具

⚡ 一句话秒懂

在自家电脑上跑AI,像安装普通软件一样简单

📖 举个故事

小张想用AI但又不想付月费,也不想把数据传到网上。朋友推荐了Ollama:一款能直接在电脑上运行AI模型的软件。他下载安装后,打开终端输入`ollama run llama3`,几分钟后AI模型就在他笔记本上跑起来了。离线、免费、私密——他的所有对话都不会传到任何服务器。

💡 类比理解

暂未补充。

🧩 真实例子

暂未补充。

🛠️ 怎么实际使用

Ollama让个人电脑运行AI变得异常简单。下载安装Ollama→终端输入`ollama run qwen2:7b`→开始对话。支持下载各种开源模型:Llama、Mistral、Qwen、Gemma等。还能配合Open WebUI(一个浏览器界面)使用,体验和ChatGPT一样。适合需要隐私保护或离线使用AI的场景。

📚 进阶原理

Ollama是基于llama.cpp的本地模型运行工具,将模型权重、推理引擎和依赖打包为单一可执行文件。使用GGUF量化格式压缩模型体积,通过HTTP API提供服务,兼容OpenAI API格式。支持多模型管理、模型自定义(Modelfile)、GPU加速(通过Metal/CUDA)和并发请求。

继续学习相关术语