1. 项目缘起为什么要在本地折腾大模型最近两年大模型的热度居高不下从ChatGPT到各种国产模型大家都在讨论。但说实话对于很多开发者、学生或者对技术有好奇心的朋友来说一直用在线API总感觉隔着一层。一来是成本问题虽然很多模型有免费额度但稍微深入用一下账单就有点吓人二来是隐私和可控性自己的数据、自己的实验流程总不希望经过别人的服务器三来也是最关键的就是“玩”的乐趣。自己动手把一个大模型部署在本地电脑上看着它跑起来那种感觉和调用一个远程接口是完全不同的。我手头正好有一台配置还不错的台式机系统是Ubuntu 22.04 LTS就琢磨着能不能在上面跑一个能用的中文大模型。我的核心需求很明确免费、开源、中文能力强、部署简单、能在消费级硬件上运行。经过一番调研和筛选最终锁定了“Ollama Qwen”这个组合。Ollama是一个专门为了在本地运行大模型而设计的工具它把模型下载、环境配置、服务启动这些繁琐的步骤打包成了一个简单的命令行工具对新手极其友好。而Qwen通义千问是阿里开源的系列大模型中文理解能力强模型尺寸覆盖全面从7B到72B都有并且对学术研究完全开放。最关键的是它针对Ollama做了很好的优化有官方发布的模型文件Model File这意味着我们可以用最标准、最稳定的方式把它跑起来。所以这篇文章就是我这个折腾过程的完整记录。我会从零开始带你走一遍在Ubuntu系统上部署Ollama并成功运行Qwen大模型的每一个步骤。过程中遇到的坑、解决的思路、以及一些性能调优的小技巧我都会毫无保留地分享出来。无论你是想搭建一个本地的编程助手、一个离线知识库还是单纯想体验一下大模型的魅力这篇实战指南都应该能帮到你。2. 战前准备硬件、系统与网络环境在开始下载和安装任何软件之前充分的准备工作能避免你掉进一半的坑里。本地部署大模型尤其是7B参数以上的模型对硬件是有一定要求的。这不是在云端租用算力一切都要靠你自己的机器。2.1 硬件要求与评估大模型运行主要吃两样资源内存RAM和显存VRAM。模型参数本身需要被加载到内存中而在生成文本推理时计算图和数据会在显存中进行高速运算。纯CPU运行模式如果你的电脑没有独立显卡NVIDIA GPU或者显存太小Ollama也支持完全使用CPU和系统内存来运行模型。但这通常意味着速度会慢很多。一个经验公式是你需要大约模型参数量的2倍的系统内存。例如运行Qwen2.5-7B模型你至少需要14GB以上的可用内存。如果你的内存是16GB那在运行模型时基本就不能再开太多其他程序了。GPU加速模式推荐这是体验最好的方式。你需要一块NVIDIA显卡AMD显卡支持有限本文以N卡为例。显存大小直接决定了你能运行多大的模型。Qwen2.5-7B模型这是入门首选。在4-bit量化后面会讲下它大约需要5-6GB的显存。这意味着一块RTX 3060 (12GB)或RTX 4060 Ti (16GB)就能非常流畅地运行甚至RTX 2060 (12GB) 也可以尝试。Qwen2.5-14B模型需要更大的显存4-bit量化下可能需要10GB以上更适合RTX 3080 (10GB/12GB)、RTX 4080 (16GB) 或更高端的显卡。Qwen2.5-32B/72B模型这些属于“大模型”范畴需要专业级显卡如RTX 4090 24GB或多卡并行普通消费级硬件很难驾驭本文暂不涉及。如何查看你的硬件信息在Ubuntu终端里运行以下命令# 查看CPU和内存信息 lscpu free -h # 查看NVIDIA显卡信息需要先安装nvidia-smi nvidia-smi如果nvidia-smi命令报错说明你的NVIDIA驱动还没有安装好这是下一步要解决的关键问题。2.2 系统环境确认与驱动安装我使用的是Ubuntu 22.04 LTS这是一个长期支持版本社区支持好稳定性高。建议你也使用这个版本或更新的22.10、23.04等。第一步更新系统包打开终端首先更新软件包列表并升级现有软件这是一个好习惯。sudo apt update sudo apt upgrade -y第二步安装NVIDIA显卡驱动如果你有N卡这是GPU加速的核心。Ubuntu自带的“开源驱动”nouveau无法用于CUDA计算我们必须安装官方的闭源驱动。方法A通过Ubuntu附加驱动安装最简单打开“软件和更新”应用。切换到“附加驱动”标签页。系统会自动检测你的显卡并列出可用的驱动版本。通常会推荐一个带“proprietary, tested”字样的版本例如nvidia-driver-535。选择这个推荐版本点击“应用更改”。系统会自动下载并安装。安装完成后必须重启电脑。方法B通过命令行安装更灵活如果你想安装特定版本可以使用命令行。首先添加显卡驱动PPA仓库sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update然后查看可用的驱动版本apt search nvidia-driver选择一个较新的稳定版如545 535进行安装sudo apt install nvidia-driver-545 -y同样安装完成后需要重启。验证驱动安装重启后再次在终端运行nvidia-smi。你应该能看到一个表格显示了你的显卡型号、驱动版本、CUDA版本如果显示了的话比如12.4以及GPU的使用情况。如果成功显示恭喜你驱动安装成功注意有时候安装驱动后登录界面会循环或者黑屏。这通常是因为驱动版本与内核或显示管理器如GDM不兼容。如果遇到此问题可以尝试在GRUB引导时进入“恢复模式”然后卸载当前驱动换一个稍旧的版本比如从545换回535重试。2.3 网络环境优化解决“Ollama下载太慢”的问题这是部署过程中最可能遇到的第一只“拦路虎”。Ollama默认从其官方服务器拉取模型对于国内用户来说速度可能非常慢甚至失败。我们必须配置镜像源。方法使用国内镜像目前国内有一些社区维护的镜像站。我们可以在运行Ollama时通过环境变量指定镜像地址。临时设置针对单次运行在终端中运行Ollama命令前先设置环境变量。export OLLAMA_HOST0.0.0.0 # 如果需要远程访问 export OLLAMA_MODELS/path/to/your/models # 可选指定模型存放目录 # 最关键的一行设置镜像源 export OLLAMA_ORIGINShttps://ollama.ai,https://mirror.ghproxy.com/https://github.com/ollama/ollama # 注意镜像地址可能会变化请以最新社区信息为准。永久设置推荐将环境变量写入你的shell配置文件如~/.bashrc或~/.zshrc这样每次打开终端都会自动生效。echo export OLLAMA_ORIGINShttps://ollama.ai,https://mirror.ghproxy.com/https://github.com/ollama/ollama ~/.bashrc source ~/.bashrc # 使配置立即生效这样设置后后续通过Ollama拉取模型时速度会有显著提升。3. Ollama的安装与初体验环境准备好后我们就可以安装今天的主角——Ollama了。它的安装方式简单到令人发指。3.1 一键安装OllamaOllama官方提供了极简的安装脚本。在终端中执行以下命令curl -fsSL https://ollama.ai/install.sh | sh这个脚本会自动检测你的系统架构x86_64 或 arm64下载对应的安装包并完成安装和服务的配置。安装完成后Ollama会作为一个系统服务systemd service在后台运行。你可以通过以下命令来管理它# 查看Ollama服务状态 sudo systemctl status ollama # 启动Ollama服务 sudo systemctl start ollama # 设置开机自启 sudo systemctl enable ollama # 停止服务 sudo systemctl stop ollama3.2 验证安装与基本操作安装完成后我们不需要任何额外配置就可以开始使用了。拉取一个测试模型为了验证安装是否成功我们可以先拉取一个很小的模型比如tinyllama。ollama pull tinyllama如果配置了镜像源这个过程应该比较快。你会看到下载进度条。运行模型并与它对话模型拉取完成后直接运行它进入交互式对话模式。ollama run tinyllama终端会提示你可以在这里输入问题比如 “Hello, who are you?”模型会开始生成回答。按CtrlD可以退出对话。Ollama的常用命令ollama list列出本地已下载的所有模型。ollama ps查看当前正在运行的模型进程。ollama stop model-name停止某个正在运行的模型。ollama rm model-name删除本地已下载的模型。ollama help查看所有命令帮助。至此Ollama本身已经安装并运行正常。接下来就是请出我们今天真正的主角——Qwen大模型。4. 部署Qwen大模型选型、拉取与运行Qwen系列模型有很多版本我们需要根据硬件条件选择一个合适的。4.1 Qwen模型版本选型指南访问Ollama的官方模型库网站https://ollama.ai/library搜索“qwen”你会看到一系列模型标签。理解这些标签至关重要qwen2.5vsqwen2.5:latestqwen2.5通常指特定尺寸的基础模型如7B而:latest标签指向该系列最新的默认模型。为了明确我建议直接指定尺寸和量化版本。参数规模7b,14b,32b,72b等。数字越大模型通常越“聪明”但所需资源也呈指数级增长。对于绝大多数个人电脑7b是起步和实用的选择。量化版本重点这是让大模型能在消费级硬件上运行的关键技术。量化通过降低模型权重的数值精度来减少内存占用。qwen2.5:7b 通常是FP16半精度版本需要约14GB显存。绝大多数显卡跑不动。qwen2.5:7b-q4_K_M4-bit量化版本。K_M是一种量化方法在精度和速度间取得了很好的平衡。这是最推荐的版本仅需约5GB显存速度可观。qwen2.5:7b-q8_08-bit量化版本。比q4精度更高占用更多显存约8GB速度稍慢。qwen2.5:7b-q2_K2-bit量化版本。极度压缩显存占用最小约3GB但输出质量可能下降明显。我的选择基于我的RTX 4060 Ti 16GB显卡为了获得最佳的速度与效果平衡我选择qwen2.5:7b-q4_K_M。如果你的显存更小比如8GB可以尝试qwen2.5:7b-q4_K_S或q8_0如果只有6GB可能要考虑q2_K或者纯CPU运行了。4.2 拉取并运行Qwen模型选好型号后拉取模型就很简单了。打开终端执行ollama pull qwen2.5:7b-q4_K_M这个过程会下载大约4GB左右的模型文件。由于之前配置了镜像源下载速度应该可以接受。你可以泡杯茶稍等片刻。下载完成后使用ollama run命令来启动它ollama run qwen2.5:7b-q4_K_M首次运行可能会需要一点时间加载模型到内存/显存。加载完成后你会再次看到提示符。现在让我们问它几个中文问题检验一下成果 请用Python写一个快速排序函数 解释一下什么是Transformer架构 给我讲个笑话你应该能看到模型流式地生成回答。如果一切顺利恭喜你你已经成功在本地Ubuntu上部署了一个功能完整的中文大模型4.3 以服务模式运行与API调用交互式对话适合测试和玩耍但更强大的用法是将Ollama作为后台服务通过标准的API来调用这样其他应用比如我们后面会提到的OpenClaw、Cursor编辑器等才能连接它。Ollama默认在启动服务时就开启了一个HTTP API服务器监听在127.0.0.1:11434。确保Ollama服务在运行sudo systemctl start ollama使用curl测试API 我们可以用最简单的curl命令来测试API是否工作。下面的命令会向模型发送一个JSON格式的请求。curl http://localhost:11434/api/generate -d { model: qwen2.5:7b-q4_K_M, prompt: 为什么天空是蓝色的, stream: false }如果返回了一个包含回答的JSON对象说明API服务正常。API的关键端点POST /api/generate 用于生成补全最常用。POST /api/chat 用于多轮对话维护聊天历史。GET /api/tags 列出本地可用的模型。 你可以查阅Ollama的官方REST API文档来了解所有细节。5. 性能调优与高级配置模型跑起来只是第一步让它跑得更快、更稳才能发挥最大价值。这里有几个关键的调优点。5.1 利用GPU层数优化推理速度Ollama在支持GPU的系统中会自动使用GPU进行加速。但你可以通过一个参数来更精细地控制有多少计算图层被卸载offload到GPU上这直接影响速度和显存占用。-num-gpu参数这个参数不是指GPU数量而是指定将多少层神经网络转移到GPU。层数越多GPU计算量越大速度越快但显存占用也越高。如何设置在ollama run命令后加上这个参数。例如我想把尽可能多的层放到GPU上在我的16GB显存上ollama run qwen2.5:7b-q4_K_M --num-gpu 99这里的99是一个很大的数字意思是“尽可能多”。Ollama会根据你的显存情况自动计算一个安全的最大层数。你可以通过nvidia-smi观察设置前后的显存占用变化。5.2 系统资源限制与守护进程如果你发现运行模型后系统变得非常卡顿可能是因为模型吃掉了太多CPU或内存资源。使用systemd限制资源我们可以修改Ollama的systemd服务文件为其设置资源限制。sudo systemctl edit ollama.service这会打开一个编辑器在其中添加以下内容例如限制CPU使用为200%内存限制为12GB[Service] CPUQuota200% MemoryMax12G保存退出后重新加载配置并重启服务sudo systemctl daemon-reload sudo systemctl restart ollama后台运行与日志ollama run是前台交互命令。要让模型在后台长期作为服务运行应该依赖Ollama自身的服务机制。通过API调用 (/api/generate) 时Ollama主服务会动态管理模型的生命周期。查看服务日志有助于排查问题sudo journalctl -u ollama -f5.3 模型管理与自定义ModelfileOllama的强大之处在于它的Modelfile。你可以基于现有的模型创建一个自定义版本比如调整系统提示词System Prompt、设置默认参数等。创建一个Modelfile新建一个名为Modelfile.qwen-coder的文件内容如下FROM qwen2.5:7b-q4_K_M # 设置系统提示词将它塑造成一个代码专家 SYSTEM 你是一个资深的软件开发专家精通Python、JavaScript、Go等多种编程语言。你的回答应专注于提供准确、高效、可运行的代码解决方案并附带清晰的解释。 # 设置默认参数 PARAMETER temperature 0.7 # 控制创造性越低越确定越高越随机 PARAMETER top_p 0.9 PARAMETER num_predict 2048 # 最大生成长度构建自定义模型ollama create my-qwen-coder -f ./Modelfile.qwen-coder这个命令会基于qwen2.5:7b-q4_K_M创建一个名为my-qwen-coder的新模型。运行自定义模型ollama run my-qwen-coder现在这个模型就会以你定义的“代码专家”人格来回答问题非常适合编程辅助场景。6. 实战集成让Qwen成为你的生产力工具本地模型部署好了如何把它用起来下面介绍几个常见的集成场景。6.1 与Cursor编辑器深度集成Cursor是一款集成了AI能力的现代代码编辑器它支持连接本地Ollama模型。在Cursor中进入设置Cmd,或Ctrl,。搜索 “Ollama” 或 “Model”。在AI模型设置中选择 “Use local Ollama model”。在模型名称中填入qwen2.5:7b-q4_K_M。确保Cursor能访问http://localhost:11434。配置完成后你就可以在Cursor中直接使用CmdK或CtrlK来调用本地的Qwen模型进行代码补全、解释、重构等操作了。这完全在本地运行没有任何数据泄露风险。6.2 搭建简易的本地ChatUIOllama官方提供了一个简洁的Web UI但需要单独下载。更简单的方法是使用开源的ChatUI项目比如Open WebUI(原名Ollama WebUI) 或Chatbox。这里以部署Open WebUI为例它功能强大界面类似ChatGPT# 使用Docker一键部署确保已安装Docker docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main部署完成后浏览器访问http://你的服务器IP:3000。首次进入需要注册一个管理员账户。在设置中添加Ollama后端地址http://host.docker.internal:11434这是Docker内部访问宿主机服务的特殊地址。添加成功后你就可以在漂亮的Web界面里选择qwen2.5:7b-q4_K_M模型进行聊天了支持多轮对话、模型切换、提示词库等功能。6.3 作为自动化脚本的AI大脑你可以写一个Python脚本通过Ollama的API来批量处理任务。例如自动总结日志文件、生成报告草稿、分类文本等。安装Python请求库pip install requests然后编写脚本ask_ollama.pyimport requests import json def ask_ollama(prompt, modelqwen2.5:7b-q4_K_M): url http://localhost:11434/api/generate payload { model: model, prompt: prompt, stream: False, options: { temperature: 0.8, num_predict: 1024 } } try: response requests.post(url, jsonpayload) response.raise_for_status() # 检查HTTP错误 result response.json() return result.get(response, ).strip() except requests.exceptions.RequestException as e: return fError connecting to Ollama: {e} except json.JSONDecodeError as e: return fError parsing response: {e} if __name__ __main__: question input(请输入你的问题) answer ask_ollama(question) print(\nQwen的回答\n) print(answer)这个脚本就是一个最简单的命令行交互工具。你可以在此基础上扩展实现文件读取、多轮对话逻辑等复杂功能。7. 故障排查与常见问题部署过程中难免会遇到问题。这里汇总一些我踩过的坑和解决方案。7.1 模型拉取失败或速度极慢问题执行ollama pull时卡住或速度只有几十KB/s。解决确认镜像源务必按照第2.3节设置OLLAMA_ORIGINS环境变量。镜像地址可能失效需要搜索“Ollama 国内镜像”获取最新地址。使用代理如果你有稳定的网络代理可以为终端配置代理export http_proxyhttp://你的代理IP:端口 export https_proxyhttp://你的代理IP:端口然后再执行ollama pull。手动下载终极方案去Ollama的GitHub仓库或国内镜像站找到模型的Blob文件手动下载然后放置到Ollama的模型目录通常位于~/.ollama/models或/usr/share/ollama/.ollama/models但此方法较为复杂。7.2 运行模型时提示“CUDA out of memory”或“显存不足”问题这是最常见的问题说明模型需要的显存超过了显卡可用显存。解决换用更小的量化版本从q4_K_M换成q4_K_S或q2_K。减少-num-gpu参数不要设置为99尝试设置一个较小的数字如20让更多层在CPU运行。关闭其他占用显存的程序比如游戏、浏览器尤其是带很多标签页的。纯CPU模式如果显卡实在不够可以强制使用CPU。运行模型时添加--num-gpu 0参数。但这会很慢且需要足够大的系统内存。7.3 Ollama服务启动失败或无法连接API问题sudo systemctl status ollama显示服务失败或者curl测试API返回连接拒绝。解决检查服务状态和日志sudo systemctl status ollama sudo journalctl -u ollama -n 50 --no-pager日志通常会给出明确的错误信息比如端口被占用、权限问题等。检查端口占用Ollama默认使用11434端口。确保该端口没有被其他程序占用sudo lsof -i:11434。重新安装Ollama有时安装不完整可以尝试卸载后重装。sudo systemctl stop ollama sudo rm -rf /usr/local/bin/ollama /usr/local/share/ollama # 再次运行安装脚本 curl -fsSL https://ollama.ai/install.sh | sh7.4 模型回答质量不佳或胡言乱语问题模型回答的问题答非所问或者开始输出无意义的乱码。解决检查提示词Prompt大模型对提示词敏感。确保你的问题清晰、明确。对于复杂任务使用“系统提示词”SYSTEM来引导模型角色。调整生成参数temperature温度降低它如0.1会让输出更确定、更保守提高它如0.9会让输出更有创造性、更随机。对于事实性问答建议调低。top_p核采样与temperature类似控制输出多样性。通常0.7-0.9是好的范围。 在API调用时通过options传递这些参数。尝试不同的模型或量化版本q2_K量化版本可能会损失较多精度导致质量下降。如果可能尝试q4_K_M或q8_0。确认模型是否完全下载有时网络中断会导致模型文件损坏。可以尝试删除模型重新拉取ollama rm qwen2.5:7b-q4_K_M ollama pull qwen2.5:7b-q4_K_M。经过以上步骤你应该已经拥有了一个完全在本地运行、功能强大且可高度定制的Qwen大模型环境。从系统准备到模型运行再到性能调优和实际应用这个过程本身就是一个宝贵的学习经历。本地大模型的世界才刚刚打开接下来你可以探索微调Lora、接入更多工具如OpenClaw构建智能体、或者尝试其他有趣的模型。最重要的是这一切都在你的掌控之中数据隐私和计算成本都由你自己决定。