不同AI跑分软件芯片跑分结果为何南辕北辙？外媒长文深度揭秘

　　IT之家7月9日消息这两年来，智能手机的体验是越来越全面和出色，很大一部分原因，是依赖于AI人工智能技术的成熟和普及，比如离线翻译、图片识别、文字提取、智能提醒等等功能几乎成为了每一台智能手机的标配，现如今智能手机的功能已经远远超过我们10年前对手机的定义。
　　技术的进步，潜移默化地改变了我们的生活方式，特别当5G真正普及到智能手机终端时，AI强大的智慧处理能力将发挥出巨大的能量，也正因此，AI不仅成为各大手机厂商们炙手可热的宣传概念，更是被广大消费者所熟知和接受，成为购买一台手机的重要影响因素。
　　和处理器性能一样，消费者们了解一款手机的AI性能和算力，最直观的方式是通过跑分应用测试获得，针对AI跑分，目前市面上较为熟知的应用有三款，分别是安兔兔的AI跑分、AIMark（鲁大师）和苏黎世AI跑分应用ETHAIBenchmark，其中ETHAIBenchmark还分为V3和V4版本，不少细心的小伙伴会发现，尽管都是同样的AI跑分应用，但针对不同处理器（比如同为旗舰的骁龙865和麒麟990），跑分的成绩还各不相同，在ETHAIBenchmark中，麒麟990的跑分占更大优势，但是在安兔兔和AIMark中，搭载骁龙865手机的AI跑分明显要更高，那么这又是怎么回事呢？
　　外媒Hothardware近日就撰写了一篇名为《关于手机AI跑分，你需要了解些什么》的文章，深度解析了手机的AI跑分以及如何衡量AI和机器学习性能，我们具体来看。
　　在介绍AI以及ML（机器学习）之前，要先了解到神经网络（NN）这个概念，因为这是ML和AI在训练和推理过程中不可或缺的部分。神经网络是受人类大脑活动启发的算法模型，通常需要基于大量数据进行训练，通过对数据的多层筛选，从而确定数据中的特定属性。
　　举一个通俗易懂的例子，神经网络的训练和学习过程，有点类似我们幼年时期开始认识万物的过程比如说，猫和狗都有两只耳朵，那么如何判别眼前的是猫还是狗，需要我们不断的去认识新的猫和狗，在这个辨别的过程中，我们会记住猫除了两只耳朵之外的更多属性，比如可以收缩的瞳孔、喵喵的叫声、细长的尾巴等等，通过这些信息，我们可以判断所看到的是猫还是狗。神经网络的训练和推理也是一样，人类向AI系统提供大量的训练数据，判断某个数据片段是否满足特定的标准，实现自我推理能力，最终为用户提供智能化结果。
　　当然，AI和ML的背后远不止上述这些，IT之家在这里只是为大家做一个简单的介绍，更深一层技术在这里就不具体探究了。
　　Hothardware在文章中指出，ML和AI应用正在飞速发展，伴随运行应用的框架、硬件和训练神经网络的不断演进，大多数人可能难以判断哪些解决方案最适合特定的用例或应用。训练和推理过程对于计算能力有着极其不同的要求，充分满足运行特定应用所需的准确率可能需要一些专业数学或精确度。
　　目前，许多跑分工具所用的常见神经网络包括面向图像分类的ResNet34和InceptionV3、面向单一目标检测和移动视觉的MobilenetSSD，以及面向图像语义分割的GoogleDeepLabv3等。
　　现有的AI跑分往往彼此大相径庭，是因为，绝大多数手机AI跑分对整数浮点性能的重视程度和赋予权重的方式不同。
　　这里要简单介绍一下AI计算中的两个重要关键词FP16（半精度浮点数）和INT8（定点计算方式）。
　　FP16和INT8同为端侧AI计算深度学习模型中的常用数据格式，客观的讲，FP16和INT8并没有完全的优劣之分，更多的是在不同场景下有不同的需求，针对不同的AI应用有各自不同的优势。
　　FP16提供更高精度，比如在一些高精度图像处理的场景上，FP16可实现更高精度的抠图，但高精度相应的功耗也高了不少，医疗和其他对精准度要求较高的行业可能需要FP16。
　　相比与FP16，INT8精度略低，但功耗更低，数据量小，计算速度也更快，具备能效优势，因此更适合移动终端，INT8在移动应用中也最为常用。
　　以三款跑分App为例，鲁大师的AIMark采用了高通的平台软件开发包高通神经网络处理引擎SDK，AImark主要利用AI计算中INT8定点的神经网络模型来确定SoC移动终端的AI性能，在一些实际场景中使用AI模型，INT8应用更加广泛。在AIMark跑分中，高通骁龙865移动平台脱颖而出，865配备了比前代平台更强大的第五代高通人工智能引擎AIEngine。
　　安兔兔和鲁大师AIMark类似，可能也采用某个版本的高通神经网络处理引擎SDK，因此跑分结果显示高通骁龙865的终端表现比其他移动平台出色得多。
　　在ETHAIBenchmark应用中，v3版本的情况完全不同于前面运行的两个跑分应用，ETHAIBenchmark采用TensorFlowLite（TFLite）和Android神经网络API（NNAPI），使用这两套标准接口而非厂商自研的SDK，此外v3版跑分特别重视浮点性能，该版本跑分中浮点运算的权重很高，同时，麒麟990有对浮点（FP）运算进行优化的专用AI处理器，因此麒麟990的得分遥遥领先。文章中，Hothardware认为，ETHAIBenchmarkv3的结果似乎不太平衡，在ETHAIBenchmarkv4测试结果中，虽然总体趋势未变，但麒麟990胜出的分值大幅降低。
　　在外媒测试的三个跑分程序中INT8定点和FP16浮点性能差别十分明显，AIMark和安兔兔AI跑分的成绩很大程度上取决于INT8性能，而ETHAIBenchmark更重视FP16，这就可以很好的解释，为什么不同平台之间的AI跑分成绩各不相同芯片平台之间AI计算的方式侧重点是不同的。Hothardware认为，INT8和FP16并无优劣之分，但INT8通常能效比更好，其AI模型效率和精度也在不断提升，更适合手机这类移动终端，保持长续航。
　　当然，对于消费者而言，AI的跑分高低并不能代表最终落实到消费者亲身的体验，我们更追求更高跑分，但在跑分之外，真实使用场景下的AI应用体验提升才是最重要的。