ARTICLE DETAIL

资讯详情

深耕商务建站与企业官网运营的一线实战洞察。

一篇文章讲清楚如何DeepSeek本地部署,解决下载慢问题

一篇文章讲清楚如何DeepSeek本地部署,解决下载慢问题 一篇文章讲清楚如何DeepSeek本地部署解决下载慢问题**已经测试机型**安装OllamaOllama地址安装Ollama安装webUI修改DeepSeek模型或者其他AI模型存放位置下载模型下载问题解决在其他网站上下载已经测试机型显卡模型效果1050~1050Ti1.5b的最好16507b用多了会卡3090ti14b稳稳拿捏409032b轻松拿捏409070b报错cuda问题安装OllamaOllama地址推荐点击我国内网盘下载可以先转存下来后期我会更新模型不推荐点击我直接下载Ollama.exeOllama地址安装OllamaOllama没有选择安装地址默认装在C盘后期下载AI模型也会下到C盘不建议用默认安装想装到别的盘的话请看下方在D盘创建一个文件夹随便起名字就可以点住Shift键然后右键选择在终端打开输入“.\OllamaSetup.exe /DIRD:\Ollama_”,然后点击回车键解释“.\OllamaSetup.exe /DIR”这个命令用于显示当前目录中的文件和子目录的列表ollama安装到这个**“D:\Ollama_”*目录里面出现以下界面说明成功了点击Install开始安装安装webUI下载Page Assist在谷歌商店里面查找Page Assist点我下载安装2.安装成功之后记得点上固定3.然后点击ollama4.进入到这个页面之后查看5.设置中文6.测试ollama是否正常访问这个链接 http://127.0.0.1:11434ollama的端口号是11434后面我们做成局域网会用到修改DeepSeek模型或者其他AI模型存放位置安装成功之后默认AI模型放到C盘/user/.Ollama这个路径里面不过我们要修改模型安装位置点击高级系统设置点击环境变量点击新建环境变量写入OLLAMA_MODELS,然后浏览目录写入变量值也就是你要存在什么位置输入成功之后点击确定然后在点击确定依次点击然后就设置模型位置成功了重启电脑重启电脑。下载模型1.打开命令提示符选择模型进行下载下面是每个模型的命令行下载模型命令行模型占用内存ollama run deepseek-r1:1.5b1.1GBollama run deepseek-r1:7b4.7GBollama run deepseek-r1:8b4.9GBollama run deepseek-r1:14b9.0GBollama run deepseek-r1:32b20GBollama run deepseek-r1:70b43GBollama run deepseek-r1:671b404GB输入下载命令行 “ollama run deepseek-r1:1.5b”输入完成之后点击回车我这里是下载1.5b的内存1.1GB先下内存小的先试试看2.下载中出现这个进度条之后说明正在下载里面有个奇怪的问题进度条看着是56%如果网有问题的话会倒退的如果下载慢的话或者下到99%卡住了或者其他问题下面会单独说下 下载的问题。3.下载完成直接输入询问4.在webUI上测试是否正常回到设置界面4.选择1.5b开始聊天到此结束下载问题解决下载慢解决方案如果进度条走到90%~99%卡死不动了那么赶紧拔一下网线然后3秒之后插回去或者禁用网络3秒左右在启用很好用如果进度条回退了那么可能网络有问题建议选择好的线路下载一般1.5b不会出现这个情况如果一直报错有可能是ollama的问题下载的人太多了如果报错路径问题查看环境变量或者没有重启电脑然后重复输入下载指令重复多次还是不行就重启电脑如果报错unable to allocate cuda0 buffer是因为你显卡垃圾重新选个小的下载如果以上还是不行的话那么从国内下载把下面详解在其他网站上下载魔搭网-点我进入一定要选择GGUF格式的哦2.点击模型然后下载自己量力而行Q2到Q8都不一样数字越大模型精度越高电脑越吃性能回答的越好3.下载完成之后随便找个地方放我是放到了Ollama位置重新创建了一个文件夹叫DS4.在创建个txt文件,我这里叫DSR1.5B我随便起的名字6.在我们刚创建的DSR1.5B.txt文本里面写上内容图片下面是代码直接复制改成你的下载的模型名字即可FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q3_K_M.gguf PARAMETER temperature 0.7 PARAMETER top_p 0.95 PARAMETER top_k 40 PARAMETER repeat_penalty 1.1 PARAMETER min_p 0.05 PARAMETER num_ctx 1024 PARAMETER num_thread 4 PARAMETER num_gpu 8 # 设置对话终止符 PARAMETER stop begin▁of▁sentence PARAMETER stop end▁of▁sentence PARAMETER stop User PARAMETER stop Assistant SYSTEM TEMPLATE {{- if .System }}{{ .System }}{{ end }} {{- range $i, $_ : .Messages }} {{- $last : eq (len (slice $.Messages $i)) 1}} {{- if eq .Role user }}User{{ .Content }} {{- else if eq .Role assistant }}Assistant{{ .Content }}{{- if not $last }}end▁of▁sentence{{- end }} {{- end }} {{- if and $last (ne .Role assistant) }}Assistant{{- end }} {{- end }}6.输入CMD打开命令提示符界面7.打开CMD输入ollama create test-ds-r1:1.5b -f ./DSR1.5B.txt自己改一下模型名字和txt名字然点击回车8.OK兄弟全体目光看齐我们成功的装上人工智障了9.问人工智障个问题看看怎么样输入ollama run 你刚才的模型名字显然1.5B的是个智障也可以在那个webui上选择去问到此结束
返回列表
PREV
查看更多资讯
NEXT
返回资讯列表