正文内容 评论(0)
二、Ollama:高效轻量化 简洁到硬核的程度
既然是在并不以性能见长的轻薄本上部署大模型,我们自然要尽量节省系统资源,那么轻量化的开源AI模型部署工具Ollama就是我们的首选。
首先我们确认系统已安装最新版驱动程序,然后从浏览器中打开Ollama的主页(https://ollama.com/),下载Ollama的安装文件。
作为一个开源免费的部署工具,Ollama的主页做的非常简洁,用户只需要点击Download按钮就可以下载到最新的安装程序。
安装程序大小约1GB,不需要特别的网络设置,直接下载速度就相当快。
虽然Ollama的安装界面没有中文,但和普通安装程序并无区别,点击Install之后选择安装目录位置,即可完成安装。
这里我们没有修改安装位置,直接在默认安装目录完成安装。
安装完成之后,Ollama运行时会在托盘区显示一个可爱的小羊驼图标,同时会自动弹出一个Windows PowerShell窗口。
这就是极度轻量化的Ollama运行的效果,连图形界面都欠奉,直接在命令行中运行。
按照Ollama给出的提示,我们输入命令运行Deepseek-R1:1.5B模型进行测试。
可以看到模型下载速度相当快,应该是使用了国内的镜像站,Deepseek-R1:1.5B模型只有1.1GB的大小,很快就可以完成下载开始运行。
下载完毕之后,我们就可以在命令行中开始和Deepseek进行对话了。
对于最新的Intel酷睿Ultra 9 285H来说,通用的Ollama目前还只能调用CPU资源,更强大的iGPU算力资源被浪费了,这也是开源部署工具的劣势,软件跟不上硬件的发展速度。
好在开源工具的分支众多,针对Intel iGPU特别优化的Ollama版本也可以从网上找到,而且同样也是免费开源,任何人都可以下载使用。
Intel ipex-llm优化版可以充分利用Intel iGPU的算力,利用iGPU中包含的XMX 矩阵加速单元,可以加速大模型推理速度,提高效率。
Intel官方提供的ipex-llm优化版Ollama的GitHub下载地址:https://github.com/intel/ipex-llm/releases。也可以从https://www.modelscope.cn/models/ipexllm/ollama-ipex-llm/summary这里下载。
由于Intel优化版Ollama目前还是测试版,功能将来会整合到正式版的Ollama中,而且目前还是免安装的绿色版软件,使用起来比官方版Ollama要稍微麻烦一点。
我们从GitHub或者镜像站下载Windows版本的压缩包之后,先将其解压至本地目录,我们在C盘建立一个新的文件夹命名为‘AI’作为解压缩目标目录使用。
在解压目录中找到“start-ollama.bat”批处理文件,双击运行,启动Intel优化版Ollama服务,此时就和官方版Ollama运行效果一致,唯一需要注意的即使Ollama服务启用时,会有一个命令行窗口,不要意外关闭,关闭这个命令行窗口就会关闭Ollama服务。
此时可以用Win+R输入“cmd”启动一个新的命令行窗口,先使用“cd”命令,转到Intel优化版Ollama的解压目录,在我们测试电脑上,就是输入:
cd C:\AI\ollama-ipex-llm-2.2.0b20250328-win
回车之后就可以和官方版Ollama一样开始下载模型和对话了。
- 热门文章
- 换一波
- 好物推荐
- 换一波
- 关注我们
-
微博:快科技官方
快科技官方微博 -
今日头条:快科技
带来硬件软件、手机数码最快资讯! -
抖音:kkjcn
科技快讯、手机开箱、产品体验、应用推荐...