1. 项目概述为什么要在本地部署大模型最近几个月我身边不少搞开发、做研究的朋友都在琢磨同一件事怎么把大模型“搬”到自己电脑上跑起来。无论是出于数据隐私的考虑不想把敏感信息传到云端还是单纯想体验一下离线状态下流畅对话、写代码的快感本地部署都成了一个绕不开的选项。在众多方案里Ollama配合Qwen通义千问模型凭借其易用性和不错的性能迅速成了技术社区里的热门组合。简单来说Ollama是一个开源的、专门用于在本地运行大型语言模型的框架。它把模型下载、环境配置、服务启动这些繁琐的步骤打包成了几条简单的命令大大降低了入门门槛。而Qwen作为国内顶尖的大模型之一不仅在中文理解和生成上表现出色其开源的系列模型如Qwen2.5也提供了从 0.5B 到 72B 等多种尺寸让你可以根据自己机器的硬件条件尤其是显卡灵活选择。所以这个实战系列的第一篇我们就聚焦于最基础、也最关键的一步在Ubuntu系统上完成Ollama的安装与Qwen模型的部署。无论你是想搭建一个私人的AI助手还是为后续的二次开发、Agent应用比如结合OpenClaw这类工具打基础一个稳定运行的本地模型服务都是起点。我会基于一台搭载NVIDIA显卡的Ubuntu 22.04 LTS服务器来演示过程中涉及的每一个命令、每一个配置项都会解释清楚背后的原因并分享我踩过坑后总结出的经验。2. 环境准备与核心工具解析在动手安装之前理清整个技术栈的构成和硬件要求至关重要。这能帮你避免很多“想当然”的错误比如用集成显卡去跑一个70B的模型或者在不支持CUDA的系统上折腾半天。2.1 硬件与系统需求盘点首先看硬件。大模型运行尤其是推理就是和你对话的过程核心压力在GPU的显存上。模型参数需要加载到显存中才能快速计算。显卡GPU这是最重要的部分。NVIDIA显卡是当前最主流的选择因为它有成熟的CUDA生态。你需要通过nvidia-smi命令查看显存大小。对于Qwen系列Qwen2.5-0.5B/1.5B/3B这类小模型对显存要求极低8GB 甚至 4GB 显存的消费级显卡如RTX 3060就能流畅运行甚至用CPU模式也能勉强体验。Qwen2.5-7B/14B这是目前个人部署的“甜点”尺寸。7B 模型量化后如q4_K_M精度大约需要 4-6GB 显存14B 模型则需要 8-12GB。一块RTX 4070或RTX 3080是很好的选择。Qwen2.5-32B/72B这些属于大尺寸模型需要专业级显卡或多卡并行。32B 模型通常需要 20GB 显存72B 模型则需要 40GB如A100或双RTX 4090。注意如果你的显卡显存不足Ollama会自动将部分模型层“卸载”到系统内存中运行但这会显著降低推理速度。所以“显存大小”是选择模型版本的第一依据。系统内存RAM当显存不足或使用CPU模式时系统内存会成为瓶颈。建议至少 16GB如果打算跑更大的模型或同时运行其他服务32GB 或更多会更稳妥。存储空间模型文件很大。一个 7B 的GGUF量化文件大约 4-5GB72B 的模型可能超过 40GB。确保你的系统盘通常是/目录或数据盘有充足空间建议预留 50GB 以上。操作系统我们选择Ubuntu 22.04 LTS。LTS代表长期支持版系统稳定、软件包兼容性好社区资料也最全。虽然Ollama也支持其他Linux发行版和macOS、Windows但Ubuntu在深度学习开发环境搭建上路径最清晰。2.2 Ollama 与 Qwen 模型选型Ollama它本质上是一个模型运行管理器。它的优势在于开箱即用一条命令完成模型拉取和运行自动处理模型格式它主要使用GGUF格式。统一的REST API无论运行什么模型都通过相同的localhost:11434接口调用简化了应用开发。丰富的模型库除了Qwen它还支持Llama、Mistral、Gemma等上百种主流开源模型。灵活的部署支持GPU加速通过CUDA和纯CPU运行。Qwen 模型这里我们需要做一个关键选择——下载哪个具体的模型文件官方仓库Qwen的模型在Hugging Face和ModelScope上发布。对于Ollama我们通常从Ollama自己的模型库拉取它已经为我们准备好了优化后的版本。模型命名规则在Ollama中Qwen模型的名称遵循qwen2.5:7b这样的格式。冒号前是模型系列冒号后是参数量。你还可以指定量化精度例如qwen2.5:7b-q4_K_M。这里的q4_K_M是一种 4-bit 量化方法能在几乎不损失精度的情况下将模型大小和显存占用减少到原来的约 1/4是性价比最高的选择之一。如何选择对于初次尝试我强烈推荐从qwen2.5:7b-q4_K_M开始。它在效果、速度和资源消耗上取得了很好的平衡是验证环境是否正确的“试金石”。2.3 安装前置依赖NVIDIA 驱动与 CUDA如果你的机器有NVIDIA显卡并且希望获得最佳的推理速度那么必须在安装Ollama前配置好CUDA环境。Ollama会自动检测并使用CUDA。检查当前驱动nvidia-smi这个命令能输出显卡信息、驱动版本和CUDA版本。如果命令未找到说明没有安装NVIDIA驱动。安装驱动如果未安装Ubuntu提供了比较简便的方法# 首先更新软件包列表并安装必要工具 sudo apt update sudo apt install ubuntu-drivers-common # 检查推荐的驱动版本 ubuntu-drivers devices # 安装推荐版本的驱动通常是带“recommended”标记的 sudo apt install nvidia-driver-545 # 这里的版本号根据上一条命令的输出确定安装完成后必须重启系统。验证驱动与安装 CUDA Toolkit 重启后再次运行nvidia-smi你应该能看到显卡信息和驱动版本。Ollama运行模型主要依赖CUDA运行时库cuda-runtime而不是完整的CUDA Toolkit。但为了后续可能的开发需求安装完整Toolkit也是个好习惯。# 前往 NVIDIA 官网查看与你的驱动版本兼容的 CUDA Toolkit 版本。 # 通常nvidia-smi 右上角会显示一个“CUDA Version”那是驱动支持的最高版本。 # 以 CUDA 12.2 为例安装步骤如下 wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu2204-12-2-local_12.2.2-535.104.05-1_amd64.deb sudo cp /var/cuda-repo-ubuntu2204-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda-toolkit-12-2安装完成后将CUDA路径加入环境变量通常添加到~/.bashrc或~/.zshrcecho export PATH/usr/local/cuda-12.2/bin${PATH::${PATH}} ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}} ~/.bashrc source ~/.bashrc验证安装nvcc --version应输出CUDA编译器版本。实操心得很多人会在驱动安装上卡住尤其是双显卡笔记本或某些服务器上。一个常见的坑是之前用apt安装过旧版本驱动导致冲突。如果遇到问题可以尝试先用sudo apt purge nvidia-*彻底清除旧驱动再重新安装。另外服务器环境有时需要禁用Nouveau开源驱动具体步骤可以搜索“Ubuntu disable Nouveau”。3. Ollama 的安装与配置详解环境准备好后安装Ollama本身反而非常简单。Ollama提供了多种安装方式我们选择最通用的脚本安装。3.1 执行一键安装脚本Ollama官方提供了一个安装脚本它会自动检测系统架构并下载对应的安装包。curl -fsSL https://ollama.com/install.sh | sh就这么一条命令。脚本会执行以下操作将Ollama服务添加到系统。创建一个名为ollama的系统用户和用户组来运行服务。下载最新的Ollama二进制文件。启动Ollama服务并设置为开机自启。安装完成后你可以立即检查服务状态sudo systemctl status ollama你应该看到服务是active (running)状态。3.2 验证基础功能与 CLI 使用服务启动后Ollama的命令行工具ollama就可以使用了。我们先跑一个最简单的模型来验证安装是否成功。# 拉取一个非常小的测试模型比如 TinyLlama ollama run tinyllama第一次运行ollama run 模型名时如果本地没有该模型它会自动从官网拉取。TinyLlama只有 1.1B 参数下载很快。下载完成后会自动进入一个交互式对话界面你可以输入问题测试。输入/bye退出。这个步骤的目的有两个一是确认网络能连接到Ollama的模型仓库二是确认基础运行环境没问题。3.3 配置优化修改模型存储路径与使用镜像默认情况下Ollama会把模型下载到~/.ollama/models目录~代表当前用户的家目录。如果你的系统盘空间紧张或者想统一管理可以修改这个路径。修改存储路径 首先停止Ollama服务。sudo systemctl stop ollama然后编辑Ollama的服务配置文件。sudo vim /etc/systemd/system/ollama.service找到[Service]部分在Environment行如果没有就添加一行设置OLLAMA_MODELS环境变量。[Service] ... EnvironmentOLLAMA_MODELS/path/to/your/large/disk/models保存退出后重新加载systemd配置并启动服务。sudo systemctl daemon-reload sudo systemctl start ollama配置镜像加速针对国内用户 直接从官方仓库拉取模型速度可能很慢甚至失败。我们可以使用国内镜像源。Ollama通过环境变量OLLAMA_HOST来指定镜像。 创建一个配置文件来永久设置# 编辑 ollama 用户的 bash 配置文件 sudo vim /var/lib/ollama/.bashrc在文件末尾添加以阿里云镜像为例镜像地址可能会变请以最新信息为准export OLLAMA_HOSTregistry.cn-hangzhou.aliyuncs.com/ollama/ollama然后需要让服务重新读取这个配置。更直接的方法是同样修改服务文件/etc/systemd/system/ollama.service在[Service]部分添加这个环境变量然后重启服务。注意使用镜像源时拉取模型的命令需要稍作改变。例如原本是ollama run qwen2.5:7b现在需要指定完整的镜像路径但具体用法请参考你所选镜像源的说明。有些镜像源可能只需要设置一次环境变量之后命令照旧。4. 拉取与运行 Qwen 模型实战核心环境就绪现在我们来部署主角Qwen模型。4.1 拉取模型文件使用ollama pull命令来下载模型。如前所述我们从 7B 的量化版本开始。ollama pull qwen2.5:7b-q4_K_M这个过程会显示下载进度。模型文件有几个 GB下载时间取决于你的网络速度。如果配置了国内镜像速度会快很多。这里有一个非常重要的技巧Ollama在拉取模型时可能会因为网络波动而中断。中断后重新执行pull命令它会尝试续传但有时会报错。我的经验是如果中途失败可以先运行ollama rm qwen2.5:7b-q4_K_M删除本地不完整的文件然后重新拉取。另外你可以通过ollama list查看本地已有哪些模型。4.2 运行模型并进行交互测试下载完成后就可以运行模型了。ollama run qwen2.5:7b-q4_K_M你会进入一个交互式CLI界面。尝试问几个问题比如“用 Python 写一个快速排序函数。”“解释一下什么是注意力机制。”“今天天气怎么样”看它如何应对没有实时信息的问题观察它的回答速度和内容质量。第一次运行某个模型时Ollama会进行一些初始化工作可能会稍慢一些。4.3 以服务模式运行并通过 API 调用交互式CLI适合测试但我们更多时候需要通过API来集成模型到其他应用比如自己写的程序或者OpenClaw、Cursor等工具。Ollama默认就在后台以服务模式运行并提供了REST API。确保服务运行sudo systemctl status ollama确认状态。使用curl测试 APIcurl http://localhost:11434/api/generate -d { model: qwen2.5:7b-q4_K_M, prompt: 为什么天空是蓝色的, stream: false }这个请求会返回一个JSON响应其中包含模型的回答。stream: false表示一次性返回所有结果。如果设为true则会以流式Server-Sent Events方式返回适合需要实时显示的场景。查看 API 文档Ollama的API很简洁除了生成文本/api/generate还有聊天格式/api/chat、列出模型/api/tags等。你可以访问http://localhost:11434查看简单的HTML界面或者直接查阅官方API文档。4.4 性能监控与基础调优模型跑起来后我们需要知道它是否真的在用GPU以及资源占用情况。确认 GPU 是否被使用# 在一个终端运行模型对话或持续调用API # 在另一个终端运行 watch -n 1 nvidia-smi你会看到一个实时刷新的界面。如果Volatile GPU-Util有百分比显示比如 30%并且GPU Memory Usage在模型加载后显著增加就说明GPU正在工作。如果GPU利用率始终为 0%而CPU占用很高那可能Ollama运行在了CPU模式。强制使用 GPU虽然Ollama会自动选择但我们可以通过环境变量明确指定。停止服务后在服务文件 (/etc/systemd/system/ollama.service) 的[Service]部分添加EnvironmentOLLAMA_NUM_GPU1重启服务。对于多卡机器可以设置为更大的数字。调整运行参数在ollama run或API调用时可以传递参数来影响模型行为。ollama run qwen2.5:7b-q4_K_M --verbose # 或者在API中 curl http://localhost:11434/api/generate -d { model: qwen2.5:7b-q4_K_M, prompt: 写一首诗, options: { num_predict: 128, // 生成的最大token数 temperature: 0.8, // 温度控制随机性 (0.1-2.0) top_p: 0.9, // 核采样参数 seed: 42 // 随机种子固定后可使结果可复现 } }temperature越低回答越确定和保守越高则越有创造性但也可能胡言乱语。num_predict限制生成长度防止模型“滔滔不绝”。5. 常见问题与深度排查指南即使按照步骤操作也难免会遇到问题。这里我整理了几个最常见的情况和解决方法。5.1 模型下载失败或速度极慢这是国内用户最常遇到的问题。症状ollama pull长时间卡住或报错Error: pull model manifest。排查检查网络连通性ping raw.githubusercontent.com(Ollama安装脚本源) 和curl -I https://ollama.com。使用镜像源如前所述配置国内镜像是最有效的解决方案。除了阿里云还可以搜索“Ollama 国内镜像”寻找其他源。手动下载终极方案如果镜像也不行可以尝试从Hugging Face等平台手动下载GGUF格式的模型文件例如从TheBloke/Qwen2.5-7B-GGUF仓库然后使用ollama create命令从本地文件创建模型。# 假设你下载了 qwen2.5-7b-q4_K_M.gguf 文件 ollama create my-qwen -f ./Modelfile你需要创建一个Modelfile内容类似FROM ./qwen2.5-7b-q4_K_M.gguf TEMPLATE {{ .Prompt }} PARAMETER stop |im_end| PARAMETER stop |endoftext|然后通过ollama run my-qwen运行。5.2 运行时报错 “CUDA error” 或 “GPU not found”症状运行模型时提示CUDA错误或者nvidia-smi显示GPU未被使用。排查驱动与 CUDA 兼容性运行nvidia-smi确认驱动已安装且CUDA版本显示正确。运行nvcc --version确认CUDA Toolkit安装。确保两者版本兼容NVIDIA官网有兼容性表格。检查 Ollama 运行环境以ollama用户身份检查环境变量。sudo -u ollama bash -c echo $PATH sudo -u ollama bash -c echo $LD_LIBRARY_PATH确保CUDA的lib64路径如/usr/local/cuda-12.2/lib64在LD_LIBRARY_PATH中。如果没有需要在ollama的服务文件或启动环境中添加。权限问题极少数情况下ollama用户可能没有访问GPU设备的权限。可以尝试将用户加入video或render组但通常不是这个问题。5.3 推理速度慢GPU 利用率低症状对话响应慢nvidia-smi显示GPU利用率很低如 10%。排查与优化确认模型是否运行在 GPU 上如上所述用nvidia-smi和watch命令观察。如果显存占用高但利用率低可能是CPU预处理或后处理成了瓶颈。调整上下文长度Ollama默认的上下文长度可能较大如 4096。对于简单的问答可以调小以提升速度。在API调用或Modelfile中设置num_ctx参数。{ model: qwen2.5:7b-q4_K_M, prompt: 你好, options: { num_ctx: 1024 } }尝试不同的量化版本q4_K_M是平衡之选。如果你追求极致速度且对精度要求不高可以尝试q3_K_S或q2_K。反之如果显存充足且需要更好效果可以用q8_0或甚至非量化版本但模型体积会大很多。系统资源瓶颈检查CPU占用是否饱和内存是否在频繁交换swap。使用htop或top命令查看。5.4 与下游工具集成问题如 OpenClaw, Cursor症状在OpenClaw或Cursor中配置了本地Ollama端点但连接失败报错如“provider returned error”或“access to private networks”。排查网络连通性与端口首先确保Ollama服务在运行并且监听在0.0.0.0:11434而不仅仅是127.0.0.1:11434。检查Ollama服务配置或启动参数。有些教程会建议修改监听地址。# 查看Ollama服务监听端口 sudo netstat -tlnp | grep ollama如果只看到127.0.0.1:11434说明只能本机访问。需要修改Ollama的启动配置通常通过环境变量OLLAMA_HOST设置为0.0.0.0:11434但注意安全风险。防火墙如果下游工具运行在另一台机器包括WSL或虚拟机需要确保11434端口在防火墙中是开放的。sudo ufw allow 11434/tcpAPI 格式OpenClaw或Cursor可能要求特定的API格式。Ollama的/api/chat端点通常兼容OpenAI API格式。你需要在下游工具中正确配置Base URL(例如http://你的服务器IP:11434/v1) 和Model Name(例如qwen2.5:7b)。仔细阅读下游工具的文档看它是否支持Ollama以及如何配置。跨域问题如果下游工具是Web应用可能会遇到CORS问题。Ollama默认配置可能不允许跨域请求。这需要修改Ollama的源码或启动参数来启用CORS相对复杂。一个简单的测试方法是先用curl或Postman从下游工具所在的机器直接调用Ollama API看是否能通从而隔离问题。部署完成后一个常见的需求是管理多个模型。使用ollama list查看ollama rm 模型名删除不用的模型以释放空间。对于生产环境可以考虑使用Docker来部署Ollama实现更好的隔离和可移植性命令也类似docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --gpus all ollama/ollama。最后本地大模型的能力终究有限对于复杂任务合理设计提示词Prompt Engineering能极大提升效果这是另一个值得深入的话题了。