米尔嵌入式i。MX6ul入门级板卡的神经网络框架ncnn移植

　　本篇测评由电子发烧友的优秀测评者ALSET提供。
　　电子发烧友网发布了一款试用产品：米尔MYDY6ULXV2开发板，基于NXPi。MX6ULi。MX6ULL处理器，该开发板被米尔称之为经典王牌产品。本次测试目标是在此开发板上进行神经网络框架ncnn的移植与测试开发，测试ncnn在此开发板上的性能与应用测试。
　　01。hr什么是ncnn
　　ncnn是腾讯优图推出的在手机端极致优化的高性能神经网络前向计算框架。也能够在移动设备上的高性能神经网络前向计算框架。ncnn从设计之初深刻考虑移动端的部署和使用。无第三方依赖，跨平台，其中手机端cpu的速度快于目前所有已知的开源框架。
　　基于ncnn，能够将深度学习算法轻松移植到手机端和移动设备上高效执行，开发人工智能应用。以腾讯内部应用为例，ncnn目前已在QQ，Qzone，微信，天天P图等上得到应用。
　　ncnn支持大部分常用的CNN网络：ClassicalCNN：VGGAlexNetGoogleNetInception
　　PracticalCNN：ResNetDenseNetSENetFPN
　　LightweightCNN：SqueezeNetMobileNetV1V2V3ShuffleNetV1V2MNasNet
　　Detection：MTCNNfacedetection
　　Detection：VGGSSDMobileNetSSDSqueezeNetSSDMobileNetV2SSDLite
　　Detection：FasterRCNNRFCN
　　Detection：YOLOV2YOLOV3MobileNetYOLOV3
　　Segmentation：FCNPSPNetUNet
　　腾讯优图实验室是主要研究计算机视觉技术，ncnn的许多应用方向也都在图像方面，如人像自动美颜，照片风格化，超分辨率，物体识别。
　　腾讯优图ncnn提供的资料显示：对比目前已知的同类框架，ncnn是cpu框架中最快的，安装包体积最小，跨平台兼容性中也是最好的。以苹果主推的CoreML为例，CoreML是苹果主推的iOSgpu计算框架，速度非常快，但仅支持iOS11以上的iphone手机受众太狭窄。非开源也导致开发者无法自主扩展功能。
　　02。hrncnn功能简介
　　ncnn支持卷积神经网络，支持多输入和多分支结构，可计算部分分支无任何第三方库依赖，不依赖BLASNNPACK等计算框架纯C实现，跨平台，支持androidios等ARMNEON汇编级良心优化，计算速度极快精细的内存管理和数据结构设计，内存占用极低支持多核并行计算加速，ARMbig。LITTLEcpu调度优化。
　　支持基于全新低消耗的vulkanapiGPU加速整体库体积小于700K，并可轻松精简到小于300K可扩展的模型设计，支持8bit量化和半精度浮点存储，可导入caffepytorchmxnetonnx模型支持直接内存零拷贝引用加载网络模型可注册自定义层实现并扩展。
　　ncnn与同类框架对比
　　03。hr在i。MX6ull上移植编译ncnn
　　工程地址：
　　githubhttps：github。comTencentncnn从工程的readme文件看，该工程已经支持很多嵌入式CPU的架构，其中就有arm32位版本。
　　既然支持arm32位，那么ixm6ull处理器也应该支持，即着手编译MYDY6ULXV2开发板上的版本。
　　1。从github上拉取ncnn源码
　　在主机上执行命令：
　　Sudogitclonehttps：github。comTencentncnn。git
　　可见是一个cmake工程，那么尝试cmake编译。
　　2。初次使用camke编译
　　先进入ixml6ull的SDK下，切换到交叉编译环境，然后创建build目录，进入build目录下，执行cmake命令
　　cmake。。
　　从输出信息上看cmake失败，查看cmake日志，发现错误原因是cmake在生成开发板的makefile文件时，需要指定使用的编译工具链。
　　3。添加imx6ull开发板的编译配置
　　根据脚本的过程，在toolchains目录下，有很多其它开发板的编译配置文件，参照其它开发板的配置文件，添加一个该开发板的配置文件。
　　文件名：armpokylinuxgnueabi。cmake
　　内容如下：set（CMAKESYSTEMNAMELinux）set（CMAKESYSTEMPROCESSORarm）set（CMAKECCOMPILERarmpokylinuxgnueabigcc）set（CMAKECXXCOMPILERarmpokylinuxgnueabig）set（CMAKEFINDROOTPATHMODEPROGRAMNEVER）set（CMAKEFINDROOTPATHMODELIBRARYONLY）set（CMAKEFINDROOTPATHMODEINCLUDEONLY）set（CMAKECFLAGSmarcharmv7amfloatabihardmfpuneonsysroothomelutherluoworkspacefslimxfb5。10gatesgarthsysrootscortexa7t2hfneonpokylinuxgnueabi）set（CMAKECXXFLAGSmarcharmv7amfloatabihardmfpuneonsysroothomelutherluoworkspacefslimxfb5。10gatesgarthsysrootscortexa7t2hfneonpokylinuxgnueabi）cacheflagsset（CMAKECFLAGS｛CMAKECFLAGS｝CACHESTRINGcflags）set（CMAKECXXFLAGS｛CMAKECXXFLAGS｝CACHESTRINGcflags）
　　4。再使用cmake生成编译文件
　　添加完该开发板的编译工具链后，就可以使用cmake来生成编译所需的makefile文件了。在cmake时，可以指定除了编译ncnn库外，还可以编译ncnn例子程序。命令如下：
　　cmakeDCMAKEBUILDTYPEReleaseDNCNNSIMPLEOCVONDCMAKETOOLCHAINFILE。。toolchainsarmpokylinuxgnueabi。cmakeDNCNNBUILDEXAMPLESON。。
　　查看目录下，已经顺利地生成了Makefile文件。
　　5。使用make编译文件
　　然后可以正式编译ncnn库和测试样例程序了。
　　直接执行
　　makej4
　　就开始愉快地编译了。
　　编译libncnn库文件成功，会继续自动编译examples下的例子文件。
　　大约10多分钟，顺利地全部编译完成。
　　在编译测试用例时，会出现库格式错误的提示，此时需要设置一下交叉编译环境下的库归档工具，系统默认使用的是armpokylinuxgnueabiar工具，这个工具产生的。a文件有问题，经过测试使用armpokylinuxgnueabigccar即可。
　　只需要在执行切换交叉环境脚本后，再单独执行一下以下命令即可修改该问题：
　　exportararmpokylinuxgnueabigccar
　　再进行编译即可。
　　6。查看编译结果
　　编译完成后，在build目录下，可以看到benchmark目录，该目录下就是ncnn的基准测试工具，可以看到目标板执行文件已经编译出来。
　　再进入到buildexample下，可以看到所有例程也编译出来了。
　　04。hr板上运行测试ncnn
　　编译完成把可执行文件与模型文件复制到开发板里进行测试。
　　把buildbenchmark下的benchmark复制到开发板homerootncnn目录下，同时把工程根目录下的benchmark目录下所有文件也复制到开发板homerootncnn目录下，
　　然后就可以执行benchmark执行文件来测试开发板的人工神经网络的计算能力。
　　先把开发环境下目标文件系统arm目录下usrlib下的libgomp。so。1文件复制到开发板的usrlib下，这个文件是并行计算库，ncnn编译时用到了这个库，这个库在多核处理器上能够支持执行并行计算。然后再在本开发板执行benchmark，执行输出结果如下图：
　　可见大部分的模型能够跑通了，有部分模型运行出现异常。
　　从抛出的分值可以评估该开发板的神经网络推理计算能力了。
　　这个分值是一个模型推理一次的耗时，所以数值越小意味着算力越强。考虑到这个开发板是一个armv7入门级的开发板，这样的性能已经超乎预料了。
　　05。hr测试基于ncnn的应用
　　这里在MYDY6ULXV2开发板上测试ncnn的应用例子，这里就用ncnn下的例程来做测试，在上面编译完example后，在build目录下会产生example的目标板的可执行文件。编译出来的例子程序如下，把他们全部传到开发板上。
　　需要注意的是，除了ncnn的应用执行文件，在这些例子执行的时候，还需要模型和测试的资源文件，而这些文件体积都比较大，因此不能传送到开发板的系统目录上，需要单独存在扩展的存储空间上。
　　经过观察板上的文件系统，发现有3。1G的空间没有使用，此时可以使用fdisk来格式化该空间，格式化成ext4格式，重启板子后，就可以看到这部分空间了，然后把ncnn的所有测试执行文件和资源文件传到该目录下，这样就够用了。
　　在板上执行各个测试例子，会提示缺少相关模型文件和参数文件，这些模型和参数文件在这个github上面，下载相应的文件到当前目录下就可以。
　　https：github。comnihuincnnassetstreemastermodels
　　1。测试图片分类器
　　准备被测试图片，test，jpg，传到上ncnn当前目录下
　　并且下载好squeezenetv1。1。param和squeezenetv1。1。bin文件到ncnn当前目录下，然后执行一下命令：
　　。squeezenet。test。jpg
　　很快就输出识别结果，输出结果如下图
　　输出结果前面的编号和分类号，具体可以参考：
　　mageNet20121000分类名称和编号
　　https：zhuanlan。zhihu。comp315368462
　　但不知本测试模型所用分类的版本是否和这个一致。
　　2测试图片内容多目标识别
　　测试图片内容识别，先用上面的图，再使用squeezenetssd来执行。执行前先下载squeezenetssdvoc。bin和squeezenetssdvoc。param到板上ncnn当前目录下，然后执行：
　　。squeezenetssd。test。jpg
　　大约3秒左右输出结果如图：
　　输出的分类编号，可见代码的定义：
　　同时输出了识别结果图：
　　再测试另外一张图：
　　执行结果如下：
　　输出识别结果图：
　　上面的识别，因为输出的第二个目标被第三个目标遮盖，第二个识别为Dog，所以识别准确度还是比较高的。
　　再测试了一张图：
　　输出：
　　识别效果也比较理想。
　　06。hrncnn移植测试总结
　　经过在MYDY6ULXV2开发板上，进行这次的ncnn移植测试，总体非常顺利，在移植中只需要针对开发板的编译器，修改添加相应的编译脚本即可顺利的编译ncnn库和所有例程。并不需要对代码做任何改动或者调整，因此过程很快，短暂的时间就可以完成ncnn这样一个神经网络框架在本开发板上运行起来。
　　对ncnn的benchmark的性能测试来看，因为本开发板仅为armv7单核处理器，处于入门级的一款开发板，能跑出这样的成绩已经出乎意料。
　　在对实际图像分类和图像内容识别测试中，其中图像分类仅百十毫秒就出结果，对多目标识别单张图在2秒左右，这对一些静态的环境下已经能够达到业务使用的需求了，再综合其硬件性能，可见效能比是非常高的。同时工程里还带有一些各种其它框架模型转化ncnn的工具，方便将其它模型转化到ncnn上来使用，非常方便。
　　同时也测试出ncnn的良好的可移植性和对不同嵌入式硬件的支持较好，其它任何一个神经网络框架恐怕无法在这样一个系统上运行，因此也为这样一个有效的国产开源神经网络项目点赞。