大数据比想象的不靠谱数据驱动背后的谎言与欺骗

　　每天早晨我都在谎言中开启新的一天。
　　起床后我走进卫生间，称了一下自己的体重。这个数据会从中国制造的体重秤上同步到我手机中的App里面，并且最终进入苹果的数据库，我的体重数据将永久地存放在云端。
　　我进行这个称量体重的仪式是因为感觉它能迫使我对于自己的体重保持诚实。它会阻止我找借口欺骗自己，比如说衣服不合身是因为洗的缩水了，而不是因为吃下去太多啤酒与奶酪。这些体重数据是真实无误的，它们不是出自于我的主观判断，因此体重秤是不会说谎的。
　　当然了，我们都相信体重秤显示的数字从技术层面上来看不应有假，这个数字就是当下我的真实体重，它就如同蛋糕菜谱上的配方表里的数字一样是可靠的。
　　但是在一次次的称体重中你会发现，那个决定了一个人是标准还是臃肿，是瘦削还是肥胖的体重数字，其实是很容易被操纵的。
　　如果我想让自己轻一些，我就会在上称之前出去跑步流一身大汗，排出多余水分。如果我担心自己减的太猛已经超出了健身方案制定的标准，那么我就需要重新回到健康饮食当中，推迟称重的时间，补充食物与充足的水，这样子就可以看到体重数字又有所回升。
　　当然了，你所使用的这些干预体重的方法只会带来增减5磅（约为4。5斤）左右的差别，但是对于某些和我一样对于体重无比看重的人来说，这些小小的体重数字波动已经足以让我感觉自己确实有所转变，从这个人：
　　变成了这个人
　　你也许觉得这只是个人生活方面的数字欺诈，世界上的其他数据，比如说发表在公开学术期刊上的数据总没那么容易被人为操纵吧。
　　不过如果你看到了最近刊登在美国权威学术期刊《科学》上面的一项研究，或许就不会这么认为了。该项目的研究人员对于已发表的100篇高质量心理学论文中进行的实验进行了复制，看看是不是能够得出相同的数据，而实验结果是仅仅有36的数据可以重现。换句话说，就算是换了另一批小心翼翼且专业的研究人员，也有三分之二的论文结果是不能被重现出来的。
　　这个研究项目为我们提供了不少证据，了解到在很多心理学研究论文中发现的结论仍然需要细致的工作去反复检验，看看这些结果到底是不是像我们知道的那样确定。
　　在如今的很多研究领域当中，科学家们会一直收集数据，直到数据呈现出一种在统计学上显著的模式，然后他们会使用这些经过严格挑选的数据去发表论文。在学术圈里这种做法被称作是P值篡改（phacking），只要掌握一些数据操作的技巧，就可以让数据虚高，得出一个在统计学上显著且有意义的结果。在论文中常用的篡改数据的手法如下：
　　通过中途的实验分析决定是否要继续收集数据
　　记录下许多因变量，并决定要选取报哪一个写入报告
　　擅自决定是否要添加或者删除极端值
　　对于实验群体重新进行排除、组合或者是分离操作
　　当分析结果已经呈现出P值显著时就立刻停止数据采集
　　把上述所有加在一起，你就会发现知识产出的过程当中存在着如此明显的问题。
　　当这些有问题的研究结论进入到Facebook驱动的社交媒体世界当中时，即便是一个小小的P值篡改的研究也会迅速传遍世界，而且不会有多少人表示怀疑。当一个普通人在快速浏览新闻的时候不会意识到那些科学实验得出、研究表明其实就是扯淡，其研究结果根本经不起检验，尤其是当这些说法出现在学术期刊上，就更不会引发怀疑了。
　　这就是所谓专业的科学研究！如果在学术研究领域当中都存在着数据作假，那么就更别提在数据驱动的商业领域情况会是如何了。
　　在令人啧啧称奇的《国家的视角》（SeeingLikeaState）一书中，展现了各国政府与其他大型机构如何试图减少世界当中存在的极端复杂性，将其归为统计数据可以解释的范畴里，并使得其国家或者组织的领导人能够理解到底发生了什么。
　　作者JamesC。Scott在全书开头使用了一则历史当中真实的故事作为引子。在18世纪下半叶，普鲁士的统治者们想要知道在自己森林茂密的国家中到底拥有多少自然资源。因此他们就开始着手计算了，他们在自己国家的版图上画出了一个巨大的表格，这样就可以算出来在一个划定的森林范围当中可以产出多少板尺（译者注：硬木板材的计量单位）的木材。至于森林的其他价值，比如说为人类和动物提供庇护，以及自身拥有的生态环境价值都被忽略不计。
　　真实的世界并不那么守规矩，普鲁士统治者们得到的数据总是不完美。因此他们开始自己创造新的森林，在相同时间种下单一品种的树木，这样在森林当中就不会存在无法货币化的树木了。事实就是在这种几何图形的森林规划背后有着国家力量的支撑，这种力量将原生的、真实的、包含多个物种且略显混乱的森林变成了新型大一统森林，并且将森林划分成网格状进行统一管理。Scott在书中如此写道。
　　普鲁士的森林全都变成了网格！这些人甚至把树木按照严格的网格形状种成整齐的一排。
　　德国的林务员们对于如何施肥以及管理树木有着非常科学的认识。普鲁士的植树造林计划确实奏效，至少在接下来的100年里没有出现什么问题。在全世界各地有很多人采用了普鲁士这种统一管理森林的方法。
　　之后森林就开始大片的死去。
　　在德国的这一植树造林计划中，那些无法形成最终商业价值的树木品种被抛弃，以至于造成了后来树木大片死亡的令人痛心的结果，这一局面只有在裸子植物被种下去之后才有可能得到扭转。
　　树木生长需要依靠复杂的生态系统作为支撑，而这种系统的形成需要经过数代微生物与物种内部的相互作用培养而成，所有的这一切物种关系都被普鲁士严格的植树计划给破坏殆尽。植物与微生物的营养周期被打断，物种之间微妙的平衡一去不复返，在真实世界里隐藏着的运行规则只有在它消失时才会慢慢显露出来。德国人发明了一个新词汇去描述发生的这一切：Waldsterben，意思为森林的消逝。
　　有时候当我看看现在的世界，在很多情况下，人们仅凭得到的有限数据就去试图掌控人类与其他生物之间无比复杂的关系。我很想知道是否我们也已经步上了曾经的普鲁士的后尘，等待着下一个Waldsterben的时刻。
　　由广告支撑的互联网生态系统就是一个好例子。这种运作方式非常聪明：通过整个互联网获取人们的数据，然后根据已知的信息向他们展示想要看的广告。不仅如此，由于和传统的广播媒体与印刷媒体相比，人们的网上活动过程是可以跟踪的，因此广告主能够越来越精确地掌握人们想要买些啥。显然，在数据挖掘技术的支持下，在线广告市场份额在不断增长，已经夺取了大部分其他传统媒体所拥有的市场份额。很多新媒体公司不断增长的估值都是建立在数字广告市场将不断增长的预期基础上。
　　不过如果撕开这一层光鲜亮丽的外皮，就会发现其中显而易见的问题。在那些数字广告与宣传视频庞大流量的背后其实并非是真实的消费者，绝大部分都是软件伪造出来的虚假点击。
　　这是一种让虚假流量以假乱真的艺术，它们会通过足够的信息将自己伪造成一个看上去真实的用户。由程序控制的广告计费系统无法分辨点击是来自真实的用户还是机器人，也无法识别出那些拥有新鲜、原创内容的网站与只会复制粘贴别人的文章与图片的假网站。
　　当然了，高端的媒体不需要做这种事情。但是便宜且由程序控制的计费广告被虚假流量给蒙蔽了，虚假流量也拉低了整个在线媒体行业的广告价格，这使得那些真心做新闻的网站依靠广告费很难支撑自己的运行。同时，很多网站的用户都非常反感这种商业模式，并且开始安装广告拦截器来对抗在线广告。