ChatGPT、Claude、Gemini——三个AI助手轮流涨价。OpenAI的GPT-5 API每百万token的价格已经让中小团队开始肉疼。Claude虽然降了价但用了几个月后账单上的数字还是让你倒吸一口凉气。你开始想能不能把大模型跑在自己的电脑上不联网不付费不限次数答案是一个叫 Ollama 的开源工具。它只有约 17MB安装之后你就能在你的笔记本上运行 DeepSeek、Llama、Qwen、Mistral 等数十个主流开源大模型——完全不联网完全免费数据完全不离开你的硬盘。我刚用一台 32GB 内存的 MacBook Pro 跑了一个月这篇文章把安装、配置、使用、调优的全部经验拆给你看。第一步安装 Ollama5分钟搞定Ollama 支持 macOS、Windows、Linux 三大平台。macOS# 下载官方安装包# 访问 https://ollama.com/download 下载 .dmg 文件# 双击安装拖入 Applications 文件夹即可或者用 Homebrew 一键安装brew install ollamaWindows# 访问 https://ollama.com/download/windows# 下载 OllamaSetup.exe双击运行# 安装完成后系统托盘会出现羊驼图标Linux推荐脚本安装curl -fsSL https://ollama.com/install.sh | sh安装完成后验证ollama --version# 输出类似ollama version 0.6.x安装即用不需要 Docker不需要 CUDA 环境配置不需要 Python 虚拟环境。 这是 Ollama 最核心的优势——它把大模型运行的门槛降到了安装一个普通软件的级别。第二步拉取你的第一个模型3分钟跑通Ollama 内置了一个模型库直接用ollama pull命令下载# 拉取 DeepSeek-R1 蒸馏版推荐入门速度快ollama pull deepseek-r1:14b# 拉取 Llama 3.18B版本轻量通用ollama pull llama3.1:8b# 拉取 Qwen 2.5对中文最友好ollama pull qwen2.5:14b# 拉取 Mistral代码能力强ollama pull mistral:7b# 拉取国产 DeepSeek-V3 轻量版ollama pull deepseek-v3:8b下载完成后直接运行模型对话ollama run deepseek-r1:14b终端里直接出现对话界面输入问题模型实时回复。不需要写一行代码不需要配 API Key。第三步模型选型指南一张表选对模型不是所有模型都适合本地跑。选模型的核心公式显存/内存 ≥ 模型参数量 × 量化精度 ÷ 字节系数。以下是2026年7月实测可用的推荐清单模型参数量推荐量化内存需求适用场景中文能力DeepSeek-R114BQ4_K_M≥12GB推理/数学/编程★★★★★DeepSeek-R132BQ4_K_M≥24GB深度推理★★★★★Llama 3.18BQ4_K_M≥8GB通用对话/写作★★★☆☆Llama 4 Scout17BQ4_K_M≥16GB多模态理解★★★☆☆Qwen 2.514BQ4_K_M≥12GB中文创作/翻译★★★★★Qwen 2.5-Coder7BQ4_K_M≥8GB代码生成★★★★★Mistral7BQ4_K_M≥8GB英文编程★★★★☆Gemma 227BQ4_K_M≥20GB多语言通用★★★☆☆8GB内存笔记本选 Llama 3.1 8B 或 Qwen 2.5-Coder 7B日常办公够用。 16GB MacBook选 Qwen 2.5 14B 或 DeepSeek-R1 14B体验媲美云端。 32GB以上上 DeepSeek-R1 32B推理能力已经非常接近 GPT-4o。 64GB M4 Max可以尝试 70B 级别的模型比如 Llama 3.3 70B 或 DeepSeek-V3。用以下命令拉取特定量化版本# 指定4位量化以节省显存ollama pull deepseek-r1:14b-q4_K_Mollama pull qwen2.5:14b-q4_K_M第四步接入 Open WebUI给它一个ChatGPT界面命令行对话是第一步正经用还得上图形界面。最强的 Ollama 前端是 Open WebUI一个完全自托管的 ChatGPT 风格界面支持多模型切换、对话历史、RAG知识库、文件上传。Docker 安装 Open WebUI# 前置条件已安装 Docker Desktop# macOS/Windows 从 docker.com 下载安装# Linux 用包管理器安装# 拉取并启动 Open WebUIdocker run -d / -p 3000:8080 / --add-hosthost.docker.internal:host-gateway / -v open-webui:/app/backend/data / --name open-webui / --restart always / ghcr.io/open-webui/open-webui:main打开浏览器访问http://localhost:3000注册一个本地账号在设置里选择 Ollama 作为后端就能看到你下载的所有模型出现在下拉菜单里。界面体验和 ChatGPT 几乎没有差别。不需要 Docker 的替代方案 Page Assist 浏览器插件直接连接本地 OllamaChrome/Edge 扩展商店免费安装零配置。或者直接用 EnchantedmacOS 原生 App连本地 Ollama体验最贴近 ChatGPT 桌面版。第五步API调用与进阶配置Ollama 启动后自动在localhost:11434开启了 REST API完全兼容 OpenAI 的/v1/chat/completions格式。这意味着所有用 OpenAI SDK 写的工具改一行代码就能切到本地模型Python 调用示例import requestsimport jsonresponse requests.post( http://localhost:11434/v1/chat/completions, json{ model: deepseek-r1:14b, messages: [ {role: system, content: 你是一个资深Python开发者}, {role: user, content: 用Python写一个并发下载文件的脚本} ], temperature: 0.7, max_tokens: 2048 })result response.json()print(result[choices][0][message][content])环境变量调优提高推理速度# 设置并发请求数默认1有GPU可调高export OLLAMA_NUM_PARALLEL4# 设置上下文长度默认2048长文需求可调大export OLLAMA_CONTEXT_LENGTH8192# 使用GPU加速有NVIDIA显卡export OLLAMA_GPU_LAYERS35# 内存限制防止占用过多系统内存export OLLAMA_MAX_LOADED_MODELS2配置写入~/.ollama/config或通过系统环境变量永久生效。避坑指南半年踩出来的血泪问题1模型下载特别慢 默认从 ollama.com 拉取模型文件通常 4-15GB国内用户可能遇到速度问题。解决设置代理环境变量export HTTPS_PROXYhttp://127.0.0.1:7890或者在 Ollama 设置中配置镜像源。问题2回复速度慢、电脑风扇狂转 模型太大内存不够系统在疯狂 swap。降低模型参数量用q4_K_M量化版本或者升级内存。8B 模型在 16GB 电脑上通常能跑出每秒 15-25 token。问题3M系列Mac没有用上GPU Ollama 在 Apple Silicon 上默认调用 Metal GPU 加速。用ollama ps命令检查模型是否跑在 GPU 上。如果显示 100% CPU检查 macOS 版本是否 ≥ 13.3。问题4多模型切换导致内存不足 同时加载多个大模型会把内存吃光。设置OLLAMA_MAX_LOADED_MODELS2限制常驻内存的模型数量Ollama 会在切换时自动卸载闲置模型。这套方案的真正价值在哪用 Ollama 跑本地模型的成本是零——没有 API 费用没有 token 限制没有本月用量已用完的弹窗。但更重要的是三件事你不需要担心了隐私安全你的对话、文档、代码不会离开你的电脑。处理内部数据、客户信息、商业机密时不需要脱敏。这在一个所有的AI都想要你的数据的年代里是一种稀缺的安全感。离线使用飞机上、高铁隧道里、咖啡馆的烂网络下——模型照样跑。一个14B量化模型只有8GB左右下载一次永久使用。无限调用写代码时反复让AI调试不会心疼token翻译长文档不用说请继续深夜跑实验不用盯着API余额。快速上手指令速查表# 安装brew install ollama # macOScurl -fsSL https://ollama.com/install.sh | sh # Linux # 模型管理ollama pull deepseek-r1:14b # 下载模型ollama list # 查看已安装模型ollama rm deepseek-r1:14b # 删除模型ollama cp deepseek-r1:14b my-custom # 复制模型 # 运行对话ollama run deepseek-r1:14b # 进入对话模式ollama run deepseek-r1:14b 用Python写快排 # 单次问答 # 监控调试ollama ps # 查看运行中的模型ollama show deepseek-r1:14b # 查看模型详情好了现在打开你的终端敲下第一行命令ollama run deepseek-r1:14b三个命令之后你的电脑就变成了一台不需要联网、不花一分钱的 AI 服务器。安装包获取平台下载地址安装方式macOShttps://ollama.com/download下载.dmg双击安装macOS (Homebrew)—brew install ollamaWindowshttps://ollama.com/download/windows下载.exe双击运行Linuxhttps://ollama.com/download/linuxcurl -fsSL https://ollama.com/install.shOpen WebUI 安装为 Ollama 添加 ChatGPT 风格界面docker run -d -p 3000:8080 / --add-hosthost.docker.internal:host-gateway / -v open-webui:/app/backend/data / --name open-webui --restart always / ghcr.io/open-webui/open-webui:main安装后访问http://localhost:3000即可。你在本地跑过哪些开源大模型遇到过什么坑评论区分享你的Ollama配置和推荐模型帮更多人少走弯路。#Ollama#本地大模型#AI工具拆解#DeepSeek#Llama#Qwen#AI教程#这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容 一台普通电脑跑通大模型：Ollama从安装到满血使用的全部技巧，零基础也能搞定
ChatGPT、Claude、Gemini——三个AI助手轮流涨价。OpenAI的GPT-5 API每百万token的价格已经让中小团队开始肉疼。Claude虽然降了价但用了几个月后账单上的数字还是让你倒吸一口凉气。你开始想能不能把大模型跑在自己的电脑上不联网不付费不限次数答案是一个叫 Ollama 的开源工具。它只有约 17MB安装之后你就能在你的笔记本上运行 DeepSeek、Llama、Qwen、Mistral 等数十个主流开源大模型——完全不联网完全免费数据完全不离开你的硬盘。我刚用一台 32GB 内存的 MacBook Pro 跑了一个月这篇文章把安装、配置、使用、调优的全部经验拆给你看。第一步安装 Ollama5分钟搞定Ollama 支持 macOS、Windows、Linux 三大平台。macOS# 下载官方安装包# 访问 https://ollama.com/download 下载 .dmg 文件# 双击安装拖入 Applications 文件夹即可或者用 Homebrew 一键安装brew install ollamaWindows# 访问 https://ollama.com/download/windows# 下载 OllamaSetup.exe双击运行# 安装完成后系统托盘会出现羊驼图标Linux推荐脚本安装curl -fsSL https://ollama.com/install.sh | sh安装完成后验证ollama --version# 输出类似ollama version 0.6.x安装即用不需要 Docker不需要 CUDA 环境配置不需要 Python 虚拟环境。 这是 Ollama 最核心的优势——它把大模型运行的门槛降到了安装一个普通软件的级别。第二步拉取你的第一个模型3分钟跑通Ollama 内置了一个模型库直接用ollama pull命令下载# 拉取 DeepSeek-R1 蒸馏版推荐入门速度快ollama pull deepseek-r1:14b# 拉取 Llama 3.18B版本轻量通用ollama pull llama3.1:8b# 拉取 Qwen 2.5对中文最友好ollama pull qwen2.5:14b# 拉取 Mistral代码能力强ollama pull mistral:7b# 拉取国产 DeepSeek-V3 轻量版ollama pull deepseek-v3:8b下载完成后直接运行模型对话ollama run deepseek-r1:14b终端里直接出现对话界面输入问题模型实时回复。不需要写一行代码不需要配 API Key。第三步模型选型指南一张表选对模型不是所有模型都适合本地跑。选模型的核心公式显存/内存 ≥ 模型参数量 × 量化精度 ÷ 字节系数。以下是2026年7月实测可用的推荐清单模型参数量推荐量化内存需求适用场景中文能力DeepSeek-R114BQ4_K_M≥12GB推理/数学/编程★★★★★DeepSeek-R132BQ4_K_M≥24GB深度推理★★★★★Llama 3.18BQ4_K_M≥8GB通用对话/写作★★★☆☆Llama 4 Scout17BQ4_K_M≥16GB多模态理解★★★☆☆Qwen 2.514BQ4_K_M≥12GB中文创作/翻译★★★★★Qwen 2.5-Coder7BQ4_K_M≥8GB代码生成★★★★★Mistral7BQ4_K_M≥8GB英文编程★★★★☆Gemma 227BQ4_K_M≥20GB多语言通用★★★☆☆8GB内存笔记本选 Llama 3.1 8B 或 Qwen 2.5-Coder 7B日常办公够用。 16GB MacBook选 Qwen 2.5 14B 或 DeepSeek-R1 14B体验媲美云端。 32GB以上上 DeepSeek-R1 32B推理能力已经非常接近 GPT-4o。 64GB M4 Max可以尝试 70B 级别的模型比如 Llama 3.3 70B 或 DeepSeek-V3。用以下命令拉取特定量化版本# 指定4位量化以节省显存ollama pull deepseek-r1:14b-q4_K_Mollama pull qwen2.5:14b-q4_K_M第四步接入 Open WebUI给它一个ChatGPT界面命令行对话是第一步正经用还得上图形界面。最强的 Ollama 前端是 Open WebUI一个完全自托管的 ChatGPT 风格界面支持多模型切换、对话历史、RAG知识库、文件上传。Docker 安装 Open WebUI# 前置条件已安装 Docker Desktop# macOS/Windows 从 docker.com 下载安装# Linux 用包管理器安装# 拉取并启动 Open WebUIdocker run -d / -p 3000:8080 / --add-hosthost.docker.internal:host-gateway / -v open-webui:/app/backend/data / --name open-webui / --restart always / ghcr.io/open-webui/open-webui:main打开浏览器访问http://localhost:3000注册一个本地账号在设置里选择 Ollama 作为后端就能看到你下载的所有模型出现在下拉菜单里。界面体验和 ChatGPT 几乎没有差别。不需要 Docker 的替代方案 Page Assist 浏览器插件直接连接本地 OllamaChrome/Edge 扩展商店免费安装零配置。或者直接用 EnchantedmacOS 原生 App连本地 Ollama体验最贴近 ChatGPT 桌面版。第五步API调用与进阶配置Ollama 启动后自动在localhost:11434开启了 REST API完全兼容 OpenAI 的/v1/chat/completions格式。这意味着所有用 OpenAI SDK 写的工具改一行代码就能切到本地模型Python 调用示例import requestsimport jsonresponse requests.post( http://localhost:11434/v1/chat/completions, json{ model: deepseek-r1:14b, messages: [ {role: system, content: 你是一个资深Python开发者}, {role: user, content: 用Python写一个并发下载文件的脚本} ], temperature: 0.7, max_tokens: 2048 })result response.json()print(result[choices][0][message][content])环境变量调优提高推理速度# 设置并发请求数默认1有GPU可调高export OLLAMA_NUM_PARALLEL4# 设置上下文长度默认2048长文需求可调大export OLLAMA_CONTEXT_LENGTH8192# 使用GPU加速有NVIDIA显卡export OLLAMA_GPU_LAYERS35# 内存限制防止占用过多系统内存export OLLAMA_MAX_LOADED_MODELS2配置写入~/.ollama/config或通过系统环境变量永久生效。避坑指南半年踩出来的血泪问题1模型下载特别慢 默认从 ollama.com 拉取模型文件通常 4-15GB国内用户可能遇到速度问题。解决设置代理环境变量export HTTPS_PROXYhttp://127.0.0.1:7890或者在 Ollama 设置中配置镜像源。问题2回复速度慢、电脑风扇狂转 模型太大内存不够系统在疯狂 swap。降低模型参数量用q4_K_M量化版本或者升级内存。8B 模型在 16GB 电脑上通常能跑出每秒 15-25 token。问题3M系列Mac没有用上GPU Ollama 在 Apple Silicon 上默认调用 Metal GPU 加速。用ollama ps命令检查模型是否跑在 GPU 上。如果显示 100% CPU检查 macOS 版本是否 ≥ 13.3。问题4多模型切换导致内存不足 同时加载多个大模型会把内存吃光。设置OLLAMA_MAX_LOADED_MODELS2限制常驻内存的模型数量Ollama 会在切换时自动卸载闲置模型。这套方案的真正价值在哪用 Ollama 跑本地模型的成本是零——没有 API 费用没有 token 限制没有本月用量已用完的弹窗。但更重要的是三件事你不需要担心了隐私安全你的对话、文档、代码不会离开你的电脑。处理内部数据、客户信息、商业机密时不需要脱敏。这在一个所有的AI都想要你的数据的年代里是一种稀缺的安全感。离线使用飞机上、高铁隧道里、咖啡馆的烂网络下——模型照样跑。一个14B量化模型只有8GB左右下载一次永久使用。无限调用写代码时反复让AI调试不会心疼token翻译长文档不用说请继续深夜跑实验不用盯着API余额。快速上手指令速查表# 安装brew install ollama # macOScurl -fsSL https://ollama.com/install.sh | sh # Linux # 模型管理ollama pull deepseek-r1:14b # 下载模型ollama list # 查看已安装模型ollama rm deepseek-r1:14b # 删除模型ollama cp deepseek-r1:14b my-custom # 复制模型 # 运行对话ollama run deepseek-r1:14b # 进入对话模式ollama run deepseek-r1:14b 用Python写快排 # 单次问答 # 监控调试ollama ps # 查看运行中的模型ollama show deepseek-r1:14b # 查看模型详情好了现在打开你的终端敲下第一行命令ollama run deepseek-r1:14b三个命令之后你的电脑就变成了一台不需要联网、不花一分钱的 AI 服务器。安装包获取平台下载地址安装方式macOShttps://ollama.com/download下载.dmg双击安装macOS (Homebrew)—brew install ollamaWindowshttps://ollama.com/download/windows下载.exe双击运行Linuxhttps://ollama.com/download/linuxcurl -fsSL https://ollama.com/install.shOpen WebUI 安装为 Ollama 添加 ChatGPT 风格界面docker run -d -p 3000:8080 / --add-hosthost.docker.internal:host-gateway / -v open-webui:/app/backend/data / --name open-webui --restart always / ghcr.io/open-webui/open-webui:main安装后访问http://localhost:3000即可。你在本地跑过哪些开源大模型遇到过什么坑评论区分享你的Ollama配置和推荐模型帮更多人少走弯路。#Ollama#本地大模型#AI工具拆解#DeepSeek#Llama#Qwen#AI教程#这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容