探析大数据处理技术对互联网电商的影响

　　【摘要】随着信息时代的推进和互联网高速发展，大数据作为一种新兴概念已经引起了社会各领域的高度重视。尤其是互联网时代下产生的电子商务营销模式与大数据的联系更为紧密，大数据的处理技术正逐渐成为互联网电商企业创新发展的重要武器，对于企业增大经济利益和市场竞争力起到重要作用。本文首先介绍了大数据和大数据处理技术的概念、特征，接着介绍了电商网络的基础处理系统，最后分析大数据处理对电子商务的影响，希望为大数据处理技术在互联网电商行业的应用和创新发展提供借鉴。
　　【关键词】大数据处理；互联网电商；影响
　　一、大数据与大数据处理
　　（一）大数据的概念
　　大数据是互联网技术的新兴概念，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据涵盖的范围十分广泛，并不局限于网络中的信息或是人口普查中的信息，还包含社会各领域、日常生活中的诸多信息。大数据具有大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
　　（二）大数据处理的概念
　　当前是一个信息爆炸的社会，网络上充斥着数以亿计、千亿计的庞杂数据信息，而如此巨大的数据量，必须要一定的技术对其进行处理，选择出有效的数据投入使用，以创造更大的价值，此过程即大数据的处理。大数据的处理包含多种技术，如数据挖掘技术、大规模并行处理或分布式数据库、云计算等。随着大数据的广泛化、资源化使用，其处理技术也将不断地进行升级，以适应社会发展的需要。
　　（三）大数据及大数据技术的特点
　　1。数据量大
　　从字面意思上看，大数据最显著的特点便是大，包含的数据量至少应在100TB之上。数据量如此之大的原因主要有两点：一是随着信息时代的发展，网络不断普及，网络使用者逐年增多，由此而来的數据产生途径也随着增加。二是网络信息成为人人可共享的资源，摆脱了单位利用数据的传统方式，大大增加了网络信息的利用率，网络数据量也有了显著的增加。
　　2。类型多
　　传统的数据往往多为结构化数据，是原始数据的抽象化，类型较为单一。而大数据下的数据常为非结构化数据，储存更为复杂，涉及的领域较多，规模又很大，处理起来也更为不易。至今，非结构化数据已经更为普遍，接近结构化数据的三倍之多，增长速度也高达结构化数据的10到50倍不等。随数据的不断扩充，数据已具有越来越多的类型，这是大数据的优势，同时也是其所面临的挑战。
　　3。处理速度快
　　由于当前数据产生途径多、利用率高且不断产生，所以数据的增长速度就明显加快，因此，大数据必须具备快速处理数据的能力。另外，当前的数据多且种类繁杂，并不是所有收集到的数据都有使用价值，因此，大数据需要具备快速而准确的处理能力分析筛选出有价值的信息。
　　4。大数据具有较低的价值密度
　　大数据多为非结构化数据，没有经过程式化的处理，多为保持本质的原始数据。原始数据即为未被处理的各种信息的数据，其有用和无用的信息未被筛选，因而价值密度相对较低。
　　5。人工智能技术的融入。
　　简单来说，大数据就是对大规模数据进行集中且智能化的处理和分析，通过这一过程，能够发现数据中潜在的信息，并挖掘出一定的智慧，进而对未来的发展态势做出科学的预测。人工智能技术的融入，使得数据的处理更加科学化，如当前机器学习、自然语言理解等人工智能技术已经融入到大数据各个流程的处理当中，发挥了重要的作用。
　　6。大数据处理的普遍模式是分布式处理架构。
　　大数据需要处理大规模、海量化且异构的数据，而传统的处理方式很难满足这一需求，因此采用分布式的方式进行处理能够达到良好的处理效果。如分布式文件系统、分布式编成环境以及大规模并行处理数据库等技术得到了应用和推广。
　　二、大数据处理对互联网电商的重要意义
　　（一）为市场营销方案提供依据
　　市场营销首先要做到的是制定符合市场需求的营销方案，以最低的成本获得最大的经济效益。而大数据处理作为数据分析、处理的有效方式，可以帮助企业分析市场供求关系和未来走势，为企业的营销方案提供重要的决策依据，从而使企业的在立足市场的基础下，扩大占有率。
　　（二）使个性化服务提供成为可能
　　随经济的发展和人们生活水平的提高，人们对物质更高的要求。产品质量已经不是人们的唯一要求，企业想要发展就必须创新服务模式，为消费者提供个性化的服务。传统的营销模式通常是以企业产品为中心进行销售，而大数据处理模式下，企业可以根据用户的购买记录发现其购物需求，从而为其提供更为精准且更具个性化的商品。
　　三、大数据时代互联网电商的基础处理系统
　　随着经济的发展和人们生活水平的提高，消费者越来越倾向于网上购物，因此电商网站的并发访问量大大增加，数据呈爆炸性增长。例如双十一期间，淘宝和天猫的网站总交易额高达上千亿元；春运时期，铁道部售票网站日点击量在5亿次以上。伴随着业务量的剧增，电商平台每秒钟都在生成海量的非结构化、半结构化数据。高并发和大数据量访问成为当前电商处理系统的潜在危机，处理这些大数据是其当前所要解决的重要问题。
　　传统的分布式计算并行计算和数据库集群等处理技术长期存在扩展性低、成本高、硬件复杂等局限性。大数据时代背景下，想要满足发展的需要，电商企业必须引入具备高容错、高扩展、低成本、易使用特点的新的架构和处理系统。
　　（一）数据仓库系统
　　当前，电子商务的数据大规模存在且持续增长，表现为大规模、分布式、异构性，使得电商数据仓库系统发生了显著变化：一是，数据量由TB级升至PB级，并仍在持续爆炸式增长。二是，硬件平台由高端服务器转向由中低端硬件构成的大规模集群平台，并行数据库的规模增大，成本急剧上升。由此导致电商面临数据量的膨胀、数据深度分析需求的增长这两大挑战。目前仅具备传统数据处理技术和信息分析能力的数据仓库和BI工具难以完成PB级大数据的数据管理和分析工作。
　　（二）大数据的IT基础云计算架构
　　云计算是新型分布式网络计算架构，特别适合向各种网络应用提供计算、存储、网络、软件等在线服务，是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法，过去常用来表示图片中的电信网，后来被用作互联网的抽象概念。云计算具有强大的运算能力，可以用来预测气候变化和市场发展趋势，其特征包括：
　　一是超大规模。云具有相当的规模，Google云计算已经拥有100多万台服务器，IBM、微软、Yahoo等的云均拥有几十万台服务器，企业私有云一般拥有数百上千台服务器。
　　二是虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自云，而不是固定的有形的实体。应用在云中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现我们需要的一切，甚至包括超级计算这样的任务。
　　三是高可靠性。云使用了数据多副本容错、计算节点同构可互换等措施来保障服务的安全，相比于本地计算机云计算较为可靠。
　　四是通用性。云计算不针对特定的应用，在云的支撑下可以构造出多种的应用，同一个云可以同时支撑不同的应用运行。
　　五是高可扩展性。云的规模可以动态伸缩，满足应用和用户规模增长的需要。
　　六是按需服务。云作为一种资源，可以按需购买，其计费也与水、电、气无异。
　　七是极其廉价。云计算具有自动化集中式管理功能，可以使大量企业无需负担日益高昂的数据中心管理成本，同时其通用性使的资源的利用率大大增加，这在一定程度上大大减少了用户的使用成本。
　　四、大数据处理对电子商务的影响
　　（一）大数据处理使电子商务的运营方式数据化
　　随着大数据处理技术的普及与完善，电子商务企业的运营模式逐渐以数据化为主导，贯穿企业运营中的采购、营销、财务以及人事等一系列过程。例如，在营销方面，大数据处理技术帮助使企业收集消费者的购物信息，并分析出其需求和购物倾向，并以此对日后的营销方向做出预测，从而以最小的成本实现最大的利润。
　　（二）大数据处理使产业链更加紧密
　　大数据处理技术将电子商务企业的产业链紧密结合在一起，即加强公司、供应商与经销商三者之间的互动与整合。具体表现为企业与供应商之间的资源得到更好的共享，企业与用户的关系越来越近，从而促进企业经济效益的提高。
　　（三）大数据处理使电子商务的数据资源化
　　随着信息时代的发展与进步，大数据作为信息时代的重要资源将是企业扩大市场占有率的关键因素。与此同时，数据作为一种资源将逐渐发展成为一项产业，有关数据的服务，如对数据分析、可视化的业务和众包模式等，会逐渐普及并完善，为企业创造更多的价值。
　　（四）大数据处理保证了电子商务的信息安全
　　随着电子商务的发展，网络安全问题日益凸显。随着网络与人们生活的日益紧密，大量的个人信息逐渐泄露于网络各个社交平台，根据个人信息进行诈骗的案件屡屡发生，尤其是消费者在进行网上购物时，极易泄露住址、联系方式等信息，使人们在享受电子商务带来的便利的同时，也面临着诸多安全隐患。而如今，大数据处理技术的应用为电子商务的安全提供了重要保障，一方面，大数据处理技术为电子商务系统建立基础的数据中心库，并保证信息在收集、传输、处理等一系列过程中的安全，另一方面，大数据处理技术保证了被破坏后数据的恢复，且其身份认证等手段大大提高电子商务的安全性能。
　　（五）大数据处理提高了电子商务企业的信息处理能力
　　随着电子商务的深入发展，电子商务平台的日数据量越来越庞大，而对这些信息进行分析处理是电商企业重点要解决的问题，而云计算的核心功能之一就是信息的收集与处理，因此将云计算环境下的大数据运用到电子商务发展中来，既是云计算拓展其用途的需要，也是电子商务发展的必然。在云计算环境下，电子商务的商家一方面利用云对庞杂的商务信息进行统一化、规范化的管理，以保证电子商务平台的有序运行，另一方面通过对消费者信息的收据，以及大数据结果分析，电商企业可以对消费者的行为进行预测，并适时地为其推出有针对性的产品，以提高平台的交易量，进而提高企业的经济效益。
　　（六）大数据处理降低了电子商务企业的平台运行成本
　　电子商务的平台运行成本在其经营中占有很大的比重，其中的硬件维修与引进、软件的开发与完善都需要消耗大量的成本和资源。而大数据处理技术可以建立云计算架构来提高资源的利用和整合，降低管理人员的人力成本，减少平台运营支出和资本支出，同时计算平台可以通过对动态资源的管理实现业务的优化，而这样强大的数据处理功能使商家最大限度地降低平台运行成本变成可能。
　　五、大数据处理在电子商务上的未来发展趋势
　　（一）专业化数据处理服务与产品日益丰富
　　大型电商企业、政府、社会盈利机构等组织可以利用大数据处理技术在云环境下协同工作，生产出专业化数据处理服务或产品，并可提供给没有足够IT能力的中小电商企业。
　　（二）大数据定制化系统
　　大数据定制化系统成为超大规模电商的商机和趋势，并可作为IT能力输出给中小电商企业。
　　（三）构建新型电商的商业模式
　　云计算带来的规模经济效应、个性化服务等优势，不仅变革了IT基础设施，更重要的是重塑了经济学概念，促进了企业业务模式的改变，从而使得电商行业可以快速迈进服务经济时代。随着大数据处理技术与营销思想的良性互动，传统商业模式将得得以彻底变革和创新，构建出新型电商营销新模式、新思路、新方法。
　　（四）IT基础设施成为核心竞争力
　　大数据处理技术的应用，为海量的资源提供了有利的整合措施和可靠的保证，其先进的计算处理性能、简单方便的部署使用方案和全方位的监控管理措施，显著提高了电商网络数据库和计算中心的工作效率，最大限度地降低IT运营和管理维护成本，给传统IT基础设施带来革命性变革。这种技术优势突破了电商交易规模的发展瓶颈，在技术的基础上提升了电商行业的发展空间，使得IT基础设施逐渐成为电商企业的核心竞争力。
　　六、结束语
　　大数据作为IT行业的新技术，对于企业的发展与创新具有重要的价值，在社会发展中，大数据的资源性日益凸显。电子商务作为互联网时代的新型商务模式，与大数据有着密不可分的联系，大数据处理技术的发展将对电子商务企业产生重要影响，大数据处理技术的应用能优化电商企业的运营方式、紧密其产业链、保证信息安全、提高信息处理能力、降低网络平台运营成本，对电商企业的经济效益和市场占有率起积极作用。在信息时代，电商企业运用并完善大数据处理技术，是自身获得长足发展的重要动力。
　　【参考文献】
　　〔1〕陈晶晶。浅析数据挖掘在电子商务中的应用〔J〕。信息通信，2017（12）。
　　〔2〕陈云海，黄兰秋。大数据处理对电子商务的影响研究〔J〕。电信科学，2013（03）。
　　〔3〕刘志超，陈勇，姚志立。大數据时代的电子商务服务模式革新〔J〕。科技管理研究，2014（01）。
　　〔4〕甘丽新，涂伟。大数据时代电子商务的机遇与挑战探讨〔J〕。科技广场，2013（03）。