三、AI测试：只需55秒即可生成一张图 生成文字内容也很迅速

1、AI Computer Vision Benchmark

近期UL Procyon套件加入了AI相关测试，该测试套件支持Microsoft Windows ML、Intel OpenVINO、Qulcomm SNPE、NVIDIA Tensorrt。

也就是说，它支持主流的AMD、Intel、NVIDIA、骁龙等处理器、GPU等设备，并给出非常直观的分数，便于对比不同平台之间的AI性能表现。

在这部分我们就主要测试用于AI推理的AI Computer Vision Benchmark，和基于Stable Diffusion的AI Image Generation Benchmark。

在AI Computer Vision Benchmark测试中，通过NPU配合Intel AI Boost进行float16精度测试，最终给出了215的分数。

其中MobileNet V3平均推理时间为1.14ms，中位推理时间1.157ms，总推理次数131313；

ResNet 50平均推理时间为4.78ms，中位推理时间4.905ms，总推理次数34379；

Inception V4平均推理时间为14.881ms，中位推理时间14.850ms，总推理次数11123；

DeepLab V3平均推理时间为58.7ms，中位推理时间59.124ms，总推理次数2859；

YOLO V3平均推理时间为26.978ms，中位推理时间27.011ms，总推理次数6057；

Real-ESRGAN平均推理时间为1195.72ms，中位推理时间1108.643ms，总推理次数151；

2、AI Image Generation Benchmark

该测试比较考验GPU的AI智能推理表现，可根据设备选择Stable Diffusion 1.5 (FP16)、Stable Diffusion XL(FP16)两项测试。

在本测试我们选择的是Stable Diffusion 1.5(FP16)，在测试中会创建16幅分辨率为512×512的图像，每批次4幅。

最终给出94的分数，UNET（神经网络架构）速度在1.55it/s左右，每张图像生成速度约66秒。

3、Stable Diffusion

如果想单独使用，Intel通过OpenVINO方案，对Stable Diffusion提供了支持，可以配合CPU或GPU也能进行“炼丹”。

测试条件以太空大战为关键字，采样方法为Euler a，分辨率为512×512、迭代步数20。

在开启OpenVINO后，通过GPU渲染配合Intel AI Boost，生图速度为1.57it/s，只需要55秒就生成了一张图片。

4、英特尔大语言模型

为了让本地也能够运行大语言模型，Intel构建了BigDL-LLM库，通过各种各样的大语言模型进行优化和支持，从而让搭载16GB内存的Intel酷睿处理器以上的笔记本上，也能运行参数量高达200亿的大语言模型。

在英特尔大语言模型应用中，要求AI生成关于花岗岩的论文大纲。

这个过程中，First Latency为592.21ms（可理解为发出问题后，模型反应需要多久），After Latency为59 ms/token（可理解成模型的生成速度）。

在问题发送出去后，AI立马就响应开始生成大纲，甚至你还没看完，下面的内容就持续输出了。

PS：功能不同，响应时长和token算力需求也不同。