最近deepseek很火,按照网上的教程,很多同学都下载了Ollama,用Ollama在本地部署一个deepseek。但是跑起来才发现CPU的占用率很快就到了100%,跑起来特别的卡,打开任务管理器一下发现GPU还在偷懒。
导致这个问题的原因是Ollama配置的问题。
要确认这个问题,可以在命令行里面执行ollama ps命令。

这个命令可以看到ollama使用CPU和GPU的占用情况。
在配置ollama之前,需要先安装CUDA。
安装CUDA之前先确认显卡的驱动版本号,在命令行下执行nvidia-smi.exe

到nVidia的官网下载一个适合你显卡驱动的CUDA-TOOLKIT。

c
下载后安装完成,在命令行里面执行ncvv -V命令,出现了你安装的CUDA版本号就安装成功了。.

接下来就是设置环境变量了,在你的电脑中设置好如下的环境变量

其中,CUDA_VISIBLE_DEVICE的值可以是数字,也可以是GPU的UUID。在命令行下面执行nvidia-smi.exe -L,获取GPU的UUID。

重启olloma,向deepseek随便体格问题,在命令行中用ollama ps查看一下GPU的占用率。

大功告成,你的ollama已经跑在GPU上了。