在过去的很长一段时间里,西方媒体经常会用到比较落后这样的自研形容中国芯,尤其是华为芯片事件发生后,这种比较刺眼的字眼出现的更加频繁。 实事求是的将,国内半导体产业的整体水平与西方国家存在着一定的差距,尤其是EUV光刻机这种高尖端设备,国内企业至今仍未突破,导致国内芯片制造企业即便是掌握着先进的芯片制程工艺,也无法制造出高端芯片,解决中企高端芯片被卡脖子的问题。 但是,随着这两年国内半导体企业不断加大投入,中国芯取得了质的突破,与西方芯片的差距不断被缩小,多个短板被补强,如国产编程语言SPL的问世,填补了国内技术的空白,实现了从0到1的突破。 对于数据库类的关键业务,全国产技术(国产CPU国产数据库)和国外主流技术在性能上相比还有不小的差距,经常需要借助分布式技术使用数倍的硬件才能获得类似的效果。 国产编程语言SPL的问世,可以方便程序员写出(比SQL)更短小简单且计算量更低的代码(针对同样计算任务),能够对采用SQL的主流数据库形成明显的效率和性能优势。这样,在国产CPU上运行用SPL编写的数据库运算,就可能获得在国外CPU上运行SQL数据库的同样性能,甚至大幅超过。从而使数据库运算类的关键业务实现全国产技术替代。本次测试设计了三个计算任务,涉及常规查询、复杂在线查询和离线跑批任务,分别在海光、龙芯、飞腾三款国产芯片上运行后看效果,并对比历史上在国外芯片上运行的情况。 系统配置 海光 龙芯 飞腾 CPU2颗7285, 共64核4颗3C5000, 共64核2颗2500, 共128核 RAM 256G 256G 256G 硬盘 SSD SSD SSD OS 麒麟V10 Loongnix 麒麟V10 SPL 开源社区版202208 测试一 常规查询,TPCH100G TPCH是国际标准,具体内容不再过多解释。需要说明的是,TPCH虽然有22个题,但仍然不能全面反映出被测系统对实际业务的响应性能。主要原因如下两点:1。TPCH中问题比较常规,没有涉及序运算,分步运算也较简单。而实际业务中有性能瓶颈的运算,其复杂度通常会远高于TPCH,会大量涉及序运算和分步计算;2。测试问题已经被长期公开,有些数据库可能会专门做相应的优化;当然,作为国际标准,也会有一定的参考价值。TPCH各题的SPL写法可参考从TPCH测试学习性能优化技巧测试结果(单位:秒) 海光 龙芯 飞腾 IntelOracle Q1 25hr40hr33hr131hrQ2 2hr4hr3hr27hrQ3 8hr19hr15hr222hrQ4 4hr12hr9hr207hrQ5 15hr20hr27hr225hrQ6 3hr7hr8hr135hrQ7 11hr18hr21hr184hrQ8 13hr20hr28hr192hrQ9 31hr63hr58hr234hrQ10 10hr19hr16hr215hrQ11 2hr5hr4hr33hrQ12 7hr19hr13hr184hrQ13 97hr195hr152hr37hrQ14 6hr22hr20hr157hrQ15 12hr22hr24hr155hrQ16 9hr19hr15hr13hrQ17 9hr13hr25hr165hrQ18 7hr21hr14hr344hrQ19 9hr16hr16hr154hrQ20 7hr12hr16hr175hrQ21 19hr24hr24hr326hrQ22 23hr37hr33hr48hrAVG 14。95 28。5 26。09 161。95 AVGG 9。68 19。22 18。36 125。56 1。海光、龙芯、飞腾均以32线程运算,初步的测试表明,大多数运算在这个并行数下最快。 2。AVG行是22个题的平均时间;AVGG行是几何平均数,这样能反应出性能差距的倍数关系,规避某些题因为普遍都慢在简单平均时权重太大的问题。 3。最右边对比列,硬件环境:2颗Intel30141。7G共12核,64G内存;Oracle运行12线程。因CPU主频及并行数不同,没有直接可比性,但仍有参考价值。 4。SPL的Q13的表现有点特殊,因为Q13在这个线程数时,会占用过大内存;而SPL用Java实现,内存不足时会导致大量的垃圾收集时间。本次测试目标不是调出每个题的最优性能,就没有刻意再优化它。 测试二 离线数据准备,国家天文台聚类计算 这是国家天文台的实际业务,测试也采用了真实数据。 共11张照片,每张有500万天体,将位置(天文距离)邻近的天体聚合成一个计算属性。期望计算时间在数小时内,因为每天都会有新的照片拍摄出来,必须当天处理完。 本任务的数据量不大(10G),但计算量非常大,和规模的平方成正比。 用某分布式数据库动用100个CPU,仅处理50万天体也需要3。8小时,处理500万目标规模预计需要15天,不具有实用性。 详情可参考SPL提速天体聚类任务2000倍 测试结果(单位:小时) 并行数 16hr32hr64hr海光 3。91 2。39 2。21 龙芯 6。65 4。04 3。96 飞腾 9。27 5。33 3。64 更高并行没有表现出线性加速,主要是因为这个问题的特殊性,运算步骤之间有依赖关系,各个线程会有重复计算,无法做到线性提速。 三款芯片均可以在目标数据规模时达到任务要求的时间指标,性能都具有实用性。 测试三 在线查询,电商漏斗计算 电商漏斗是典型的有序计算,需要统计在指定时间窗口按指定次序发生多次事件中前N个的用户数,以便计算用户流失率为营销动作提供依据。这是用户行为分析中很常见的计算,也是传统数据库很难高速完成的计算。漏斗计算的细节和SPL加速方法可参考SQL提速:漏斗转化分析本题是美国一家电商企业的真实案例,漏斗共有5步,计算难度较高。使用该企业在某个分站点一个月的脱敏数据,规模接近4亿行。这个运算用SQL在美国著名云数据仓库Snowflake的Medium级服务器(相当于64核)上三分钟未跑出结果,用户期望不超过30秒。测试结果(单位:秒) 并行数 32hr16hr8hr4hr海光 16hr18hr29hr59hr龙芯 32hr41hr59hr101hr飞腾 25hr30hr44hr76hr三款芯片在32线程时的运算性能可以达到或接近用户的期望值。 补充说明 1。测试海光时还使用过CentOS,性能表现要比使用麒麟时有较明显的优势(天文台运算64线在1。5小时内完成);测试飞腾时仅使用了麒麟,有可能其性能被操作系统影响;龙芯的Loongnix看起来表现较出色。2。在龙芯上还做过一个军方外围任务测试:在82亿行的脱敏海事数据中按时间段和经纬度范围查找经过船只,龙芯上SPL的执行性能大概相当于Intel3014的50,仍比Intel8260上的MySQL快了数倍到上百倍(和时间段宽度有关)。 初步结论 1。海光的性能表现明显在三者中最强,性能大约是龙芯和飞腾的两倍。龙芯总体较飞腾稍弱,但差距不是很大,在长时间小并行任务中还能胜出。2。使用SPL编程时,这三款国产芯片都能胜任数据仓库类的复杂计算场景,能赶上甚至大幅超越国外芯片上国外数据库的性能,完全可应用于关键的数据计算任务。SPL下载地址:http:c。raqsoft。com。cnarticle1595816810031SPL开源地址:https:github。comSPLWareesProc