五、AI测试：NPU+OpenVINO联手为Stable Diffusion加速 仅需35秒就生成一张图片

1、Stable Diffusion

我们也测试了当下最热门的AI制图工具——Stable Diffusion，它是一个基于图像的AI模型，只需要输入一句话，或者几组特定的关键词，就能生成一幅想要的图像。

Intel通过OpenVINO方案，对Stable Diffusion提供了支持，可以配合CPU或核显也能进行“炼丹”。

测试条件以太空大战为关键字，采样方法为Euler a，分辨率为512×512、迭代步数20。

默认模式下，没有开启OpenVINO，但得益于NPU的加持，生成速度也相当迅速，可以在93秒生成一张图片。

在同样条件下，开启OpenVINO后，渲染设备更改为GPU，效率再次提速，来到了1.93it/s，只需35秒就能生成一张图片，比默认要快了1.66倍。

2、大语言模型

为了让本地也能够运行大语言模型，Intel构建了BigDL-LLM库，通过各种各样的大语言模型进行优化和支持，从而让搭载16GB内存的Intel酷睿处理器以上的笔记本上，也能运行参数量高达160亿的大语言模型。

我们使用的AI 应用是“英特尔大语言模型”Demo应用， 要求它生成云南五天的旅游行程。

这个过程中，NPU的平均生成率为58.69 ms/token，还是非常迅速的。

由于这个大模型应用并不联网，仅在本地生成结果，针对这样的表现而言，已经相当强悍了。