六、AI测试：NPU配合OpenVINO只需35秒就能出图

1、Stable Diffusion

我们也测试了当下最热门的AI制图工具——Stable Diffusion，它是一个基于图像的AI模型，只需要输入一句话，或者几组特定的关键词，就能生成一幅想要的图像。

Intel通过OpenVINO方案，对Stable Diffusion提供了支持，可以配合CPU或核显也能进行“炼丹”。

测试条件以太空大战为关键字，采样方法为Euler a，分辨率为512×512、迭代步数20。

默认模式下，没有开启OpenVINO，但得益于NPU的加持，也能144秒生成一张图片。

在同样条件下，开启OpenVINO后，渲染设备更改为GPU，效率提升明显，生图速度为1.53it/s，只需34.4秒就能生成一张图片，是没开启OpenVINO效率的3倍。

2、大语言模型

为了让本地也能够运行大语言模型，Intel构建了BigDL-LLM库，通过各种各样的大语言模型进行优化和支持，从而让搭载16GB内存的Intel酷睿处理器以上的笔记本上，也能运行参数量高达200亿的大语言模型。

我们使用的AI 应用是“英特尔大语言模型”Demo应用， 要求对一篇英文文章生成中文解析。

这个过程中，只需16秒就完成响应，平均生成率为92.64 ms/token，非常迅速。

PS：功能不同，响应时长和token算力需求也不同。