一同进修-大数据的风险和现存题目_消费者调研_顾客满意度调查表模板

“大数据”成为2012年的症结辞汇，被认为将会带来生涯、事变与头脑的严峻革新。谷歌、亚马逊等互联网企业在应用大数据方面所做的事变使数据行业看到了新的生长门路。大数据在教诲、医疗、汽车、服务性行业的应用所彰显的能量使企业、研讨者对大数据的将来充满信心。《连线》杂志主编克里斯·安德森以至早在2008年就断言数据激流将会带来理论的闭幕，科学要领将会逾期，其原话是“面对大范围数据，科学家“假定、模子、磨练”的要领变得逾期了”。[3]

手艺的变迁在任何行业都是值得兴高采烈的，但无妨在此处借用苏珊·朗格在《哲学新视野》中的叙述表达一点郑重：

某些意见有时会以惊人的气力给学问状态带来庞大的打击。由于这些意见能一会儿处置惩罚很多题目，所以，它们好像有愿望处置惩罚一切基础题目，廓清一切不清楚明了的疑点。每个人都想敏捷的捉住它们，作为进入某种新实证科学的宝贝，作为可用来建构一个综合剖析体系的意见轴心。这类‘远大意见’倏忽盛行起来，一时候把一切东西都挤到了一边。[4][5]

苏珊·朗格认为这是由于“一切敏感而活泼的人都马上致力于对它举行开辟这个现实组成的”，这一叙述安排在本日对大数据的狂热崇敬当中也极为适当，大数据的盛行并不意味着别的的邃晓与思索体式格局就不再合适存在，正如微软的Mundie教师所说，“以数据为中间的经济还处于生长早期，你可以看到它的表面，但它的手艺上的、基础构造的、以至贸易模子的影响还没有被完整邃晓。”但不可否认的是人们确切将更多的学术兴致转移到这一范畴，而一旦人们可以以谨慎的思绪最先清楚的论述它们，即使一时不能供应圆满的处置惩罚计划，最少也是能让人有所获益的门路。

人们在议论大数据的优美图景时当然没有完整遗忘它能够带来的风险，但担心多集合于大数据的结果，如信息平安，而没有集合于怎样对待大数据自身。本文迁就当前特别国内手艺环境下，进入大数据时期所面对的风险和存在的题目做扼要剖析，以愿望能厘清意见，廓清一些误会。

大数据的面对的风险主要表现在以下几方面：

零售业巨子沃尔玛每小时处置惩罚凌驾一百万客户生意业务，输入数据库中的数据估计凌驾2.5PB(拍字节，2的50次方)——相当于美国国会藏书楼书本存量的167倍，通讯体系制造商思科估计，到2013年因特网上运动的数据量每一年将到达667EB(艾字节，2的60次方)[6]，数据增进的速率将延续凌驾承载其传送的网络生长速率。

来自淘宝的数据统计显现，他们一天发作的数据量即可到达以至凌驾30TB，这仅仅是一家互联网公司一日以内的数据量，处置惩罚云云体量的数据，起首面对的就是手艺方面的题目。海量的生意业务数据、交互数据使得大数据在范围和庞杂程度上超出了经常应用手艺依据合理的本钱和时限抓取、存储及剖析这些数据集的才。

现在谈到大数据，难以防止言必称美国的偏向，那末美国终究怎样应对这这方面的题目呢？

美国政府六个部门启动的大数据研讨设计中，包括：

•       DARPA的大数据研讨项目：多规范非常检测项目，旨在处置惩罚大范围数据集的非常检测和特性化；网络内部要挟设计，旨在经由进程剖析传感器和其他泉源的信息，举行网络要挟和非常规战役行动的自动识别； Machine Reading项目，旨在完成人工智能的应用和生长进修体系，对天然文本举行学问插进去。

•       NSF的大数据研讨内容：从大批、多样、疏散和异构的数据集合提取有用信息的核心手艺；开辟一种以一致的理论框架为准绳的统计要领和可伸缩的网络模子算法，以区分合适随机性网络的要领。

•       国度人文基金会（NEH）项目包括：剖析大数据的变化对人文社会科学的影响，如数字化的书本和报纸数据库，从网络搜刮，传感器和手机纪录生意业务数据。

•       能源部（DOE）的大数据研讨项目包括：机械进修、数据流的及时剖析、非线性随机的数据缩减手艺和可扩展的统计剖析手艺。[7]

从这份研讨设计可以看出，绝大多数研讨项目都是应对大数据带来的手艺应战，现在我们所应用的数据库手艺诞生于上世纪70年代，大数据时期起首须要处置惩罚的是全部IT构造的从新架构，提拔对不停增进的海量数据的存储、处置惩罚才。

笔者最早进入数据剖析范畴是在1986年，应用的机械是长城，520，小的IBM机械，在完成数据输入、问卷输入以后，做一个最简朴的敕令操纵，须要等三个小时以后才出结果，我们现在面对大数据时的处置惩罚才，形象化来讲就是昔时PC机对小数据的处置惩罚才。

这也就是大数据常和云盘算联络在一起的缘由，及时的大型数据集剖析最少须要应用像MapReduce和Hadoop那样的剖析手艺并有数千台电脑同时事变，由于想做到及时剖析，须要在数据库中空出剖析事变空间，控制对资本和数据的接见，同时不影响临盆体系。[8]在现有的手艺条件下谈大数据须要充足斟酌到硬件设备和剖析手艺的不足，由于这是条件，这也恰是数据中间成为谷歌、亚马逊最高秘要的缘由，Facebook的开源硬件设计取得浩瀚企业包括国内的腾讯响应的积极响应也是基于这方面的现实须要。

“假如只就人类的熟悉是零碎、微小的而言，小当中蕴含着伶俐，由于人类的熟悉更多的是依托试验，而不是依托相识。最大的风险必定是不顾结果的应用部份学问。”舒马赫在《小的是优美的》一书顶用这段话来表达对核能、农业化学物、运输手艺大范围应用的担心，也适用于本日观察行业、企业、研讨者对全数据的迷信、无视抽样所带来的风险。
 

关于海量数据数据的盘算才跟着分布式缓存、基于MPP的分布式数据库、分布式文件体系、种种NoSQL分布式存储计划等新手艺的提高可以处置惩罚，但这只是关于数据处置惩罚的第一步(以至这类处置惩罚体式格局自身都存在很大风险)，还并不是最大的风险，大数据最为严峻的风险存在于数据剖析层面。

（一）数据量的增大，会带来规律的丧失和严峻失真

维克托·迈尔-舍恩伯格在其著作《大数据的时期》中也指出这一点，“数据量的大幅增添会组成结果的不正确，一些毛病的数据会混进数据库，”[9]别的，大数据的别的一层定义，多样性，即泉源差别的种种信息混淆在一起会加大数据的杂沓程度，统计学者和盘算机科学家指出，巨量数据集和细颗粒度的丈量会致使涌现“毛病发明”的风险增添。那种认为假定、磨练、考证的科学要领已逾期的论调，恰是出于面对大数据时的杂沓与渺茫，由于没法处置惩罚非构造化的海量数据，从中找出肯定性的结论，干脆拥抱凯文凯利所称的杂沓。这类主意在某些范畴是有用地，比方它可以诠释生物的挑选性，东非草原上植物的挑选进程，然则未必能诠释人，诠释事宜进程和背地的规律。

大数据意味着更多的信息，但同时也意味着更多的子虚关联信息，斯坦福大学Trevor Hastie传授用‘在一堆稻草内里找一根针’来比方大数据时期的数据发掘，题目是很多稻草长得像针一样，‘怎样找到一根针’是现在数据发掘的题目上面对的最大题目，海量数据带来显著性磨练的题目，将使我们很难找到真正的关联。

我们以一个现实的案例来看一下样本量不停增大以后，会涌现的题目：

上表是关于2006年网络游戏进程散布的回归剖析，当样本量是5241个的时刻，你会发明用一个简朴的线性回归拟合这个数据，岁数、文明程度、收入这三个变量显著，当我们把样本量增添到10482个的时刻，发明独生子女和女性最先显著，增添到20964个的时刻，体系体例外这个变量也最先显著，当样本增添到33万的时刻，一切变量都具有显著性，这意味着人间万物都是有联络的。那末在这个时刻，假如说上亿个人呢？样本大到肯定程度的时刻，很多结果天然就会变得显著，会没法举行推论，或许得出子虚的统计学关联。别的，断裂数据、缺失数据（下文将会举行剖析）的存在将会使这类子虚关联跟着数据量的增进而增进，我们将很难再接触到原形。

 现实上，实在的规律是如许的：



 

这是网络游戏2006年进程散布的结果，现实模子是如许的，经由进程这个模子我们可以看到：

1. 分文明程度、体系体例表里差别岁数的人群在游戏应用上存在显著差别，可以清楚的看到在2006年网络游戏显现出文明程度主导下的立异散布规律。
 

2.在高文明程度人群中，最先向34岁-40岁散布，显现大幅增进，并组成一个峰值。

3.在低文明程度群体中，比方高中、初中在年青群体中敏捷散布，组成一个峰值。

4.在2006年，网络游戏从文明程度的几个角度最先散布，岁数不再只是上下之分，而是与文明程度变量综合组成的结果[10]。我们看到网络游戏这类波浪式的散布进程，不仅可以找到2006年是谁在应用网络游戏，也可以用生命周期、家庭周期来诠释缘由，而经由进程对体系体例内与体系体例外人群的应用差别剖析，又可以展现出事变空间差别所带来的人的行动差别。当我们把2006年的结果放回网络游戏的全部散布进程中时，所能看到就已不再是网络游戏自身，而是新手艺带来的社会变迁进程。

对一个社会现象举行客观深入正确的剖析，对事物的邃晓须要数据，但更须要剖析头脑，在大数据时期，理论并不是不主要，而是变得越发主要。我们所指的理论也并不是僵化原封不动的恪守旧有理论，而是在处置惩罚题目的进程当中意想到海量数据所带来的庞杂性，对峙剖析要领和理论的不停立异。

（二）抽样剖析+全数据考证的剖析思绪

维克托·迈尔·舍恩伯格在引见大数据时期的数据剖析头脑改变时提到过三个意见，其中之一是：剖析一切的数据，而不再仅仅依托一小部份数据。全数据一时甚嚣尘上，企业、研讨者认为大数据就是全数据，以至于再谈抽样都好像带有保守主义颜色，这类意见无疑是对大数据和抽样两者都存在私见和不足，而一个盛行的辞汇恰好关于处置这项运动的人来讲意味着什么才是及其主要的，假如认为大数据就是网络一切样本的信息，让数据本身措辞，那末在要领论上就是狭窄的，而这类狭窄却由于其闪烁着开放、客观、周全的光泽而被无视。

这类意见面对的第一个风险就是“全数据”在那里？数据量到达何种程度时，可以认为是“全”数据？

这里也触及了全数据的第二个题目全（临时假定我们经由进程人们在谷歌上输入搜刮条目就找到了真正意义上的全：谷歌应用搜刮纪录而展望到流感迸发的案例被广为引用以申明数据自会措辞，当人们最先在网上搜刮关于伤风的辞汇表明他感染了流感，竖立流感与空间、病毒的关联，可以胜利的展望一场流感）[11]数据确切能看到变化，经由进程变化作出“展望”，但没法诠释变化的影响要素，维克托·迈尔·舍恩伯格对此的回覆是：我们要相关性，不要因果关联。这并不是是这位作者有挑选的挑选，而是摒弃抽样而直接采纳大数据的必定。

维克托·迈尔·舍恩伯格认为可以许可不准确而应用大数据的简朴算法处置惩罚题目，而1936年《文学文摘》和盖洛普在总统推举展望中的差别表现，至今依然向我们表明科学、严谨抽样的主要性。《文学文摘》依托纸媒时期庞大的发行量取得240万公众的数据，而盖洛普仅在严厉抽样基础上研讨了5000人，是“小数据”的庞杂算法凌驾“大数据”的简朴算法的实在案例。

没有抽样的拟合，直接面对大数据，将使我们落空对人的相识，对实在规律的追随，毕竟不是一切的社会现实都一场流感一样易于展望，何况即使是谷歌被广为赞誉的流感展望案例也被认为存在题目：在与传统的流感监测数据比较以后，依据互联网流感搜刮及时更新的Google流感趋向被发明显著高估了流感峰值程度。科学家指出基于搜刮有太多的噪音影响了它的准确度这表明基于交际网络数据发掘的流感跟踪将不是替换而只能补充传统的盛行病监测网络。他们正在开辟噪音较少的替换跟踪要领，比方基于Twitter的流感跟踪只包括真正病人的帖子，而不是转载的流感新闻报道。[12]

关闭数据和断裂数据所带来的题目在第二部份已提到，它们会发作子虚的统计学关系，影响剖析结果的正确性和可磨练性，下面详细对这两方面的题目做一个剖析。

(一)关闭数据使数据缺少多样化

“数据增值的症结在于整合，但自在整合的条件是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子花样放在互联网上，让其他方自在应用。开放数据和公然数据是两个差别的意见，公然是信息层面的，开放是数据库层面的。开放数据的意义，不仅仅是满足国民的知情权，更在于让大数据时期最主要的临盆资料数据自在地运动起来，以催生立异，推进学问经济和网络经济的生长。”[13]

开放是大数据的题中之义，也是我国政府、企业在大数据时期必需顺应的改变，而我们现在面对的状况依然是一个平台一个数据，数据壁垒组成的局势是：有一切数据，同时又什么数都缺。

比方在医疗范畴，大数据被认为为医疗范畴带来愿望 ---盘算机可以在模拟人类专家在直觉方面更进一步，而没必要依靠EBM如许的小数据集了。医疗信息体系仍在应用陈腐的数据屏蔽，在这个别系中，只要经由进程考核的、规范的、被编辑过的数据才被吸收，由于缺少一致性，很多可用的数据被拒之门外。这个屏蔽制造了同质化的数据，而排除了能使体系真正有用的多样性。[14]

再以新浪、搜狐、网易、腾讯四大微博的数据平台为例，四家公司的数据各自为阵，互相自力，关于微博用户行动剖析都是基于对本身现有用户的剖析，这类关闭的数据环境下，很多层面的详细剖析都将遭到很大的范围，比方堆叠用户的剖析，什么特性的人群会只在一个平台上开设账号，什么特性的人会在差别平台上都开设账号，在差别平台上应用作风是不是雷同，在差别账号下活泼度是不是雷同，影响要素是什么？这是在关闭的数据环境下没法举行剖析的。

数据是企业最主要的资产，而且跟着数据产业的生长，将会变得更有代价。但关闭的数据环境会障碍数据代价的完成，对企业应用和研讨发明来讲都是云云，因而我们须要合理的机制在庇护数据平安的状况下开放数据，使数据取得充足应用。有用的处置惩罚办法之一是公平的第三方数据剖析公司、研讨机构作为中间商网络数据、剖析数据，在数据层面突破现实天下的界线，举行多家公司的数据同享而不是一家公司盲人摸象，这才完成真正意义上的大数据，给予数据更辽阔周全的剖析空间，才会对产业构造和数据剖析自身发作头脑改变和有意义的革新。

(二)断裂数据使数据缺少构造化

关闭数据使我们没法看到多样化的数据，断裂数据则使数据缺少构造化。来自IDC的报告显现，2012年环球数字信息中90%的数据都是视频、声响和图像文件如许的非构造化数据[15]，缺少构造化自身是可以经由进程新手艺处置惩罚的题目，正由于云云才使这个题目变得辣手。对新手艺的太过追逐，一方面会使得数据自身的实在性、完整性遭到损坏，另一方面会使对数据背地的人和生涯意义的剖析得不到充足注重。

1. 行动背地看不见人，缺失生涯意义。

以淘宝为例，当淘宝想研讨“终究是什么人”在淘宝上开店的时刻，他们发明并不像设想中的那末轻易。

在淘宝公司的及时舆图上，可以应用GPS体系清楚的晓得每一秒全国各地正在发作的生意业务，然则关于这些人的族群特性，及时舆图并不能通知他们更多。[16]一样的题目出现在腾讯游戏部门的用户研讨中，他们并不能从及时的监测中晓得是谁在玩他们的游戏，他们有什么兴趣、是什么性情、为何喜欢一款游戏？他们晓得的只是一个ID账号，这就是断裂数据带来的题目：表面上周全，现实上都是片断式的数据。全数据确切可以在肯定程度上控制人的行动，然则没法晓得是什么样的人的行动。邃晓这一点，就可以邃晓为何谷歌会推出Google+，以猎取详细的用户信息，包括姓名、兴趣、朋侪、身份等详细数据。任何一个平台都有其数据网络方面的上风，也有其短板，表面上具有海量数据，但实在都只是一个片断，缺少连续性和可识别性。

巴拉巴西在《迸发》中引见了一个网站LifeLinear，用户经由进程在搜刮框中输入本身的名字就可以查到本身一天任何时候任何所在的监控录相，不管在哪儿，你的行迹都会被网站纪录下来。这是作者假造的一个网站，但信认为真并输入网站名字举行搜刮的人不在少数，由于理论上它是可以完成的，一是借助都市中的无线看管体系，反应数据到单条检索数据库中，指导盘算机追踪一切的人。二是，也是最为症结的是每个人都有牢固的生涯习惯、行动规律，体系可以据此为每个人竖立行动模子，然后展望你能够涌现的处所，并在那儿等你。[17]

如许一个别系的竖立依托手艺体系，但更主要的是对每个个别的周全相识和剖析，假定、模子、磨练缺一不可。在这本书中巴拉巴西引见的另一位数据公然者，他把本身的位置数据、财富信息都传到网上，然则关于这个人你一窍不通，由于没有任何关于他性情、喜欢等个性化信息，是“什么都有，但什么都缺”的典范案例。

2.大批的非构造化数据推翻本来剖析的基础范式。

在大数据时期，须要处置惩罚的数据不再是传统意义上的数据，而是笔墨、图片、音频视频等品种多样的数据，大批的非机构化数据对数据剖析提出了新的应战，由于只要能被定义的数据才是有代价的信息。

应用大家网的用户也许不会生疏，在个人主页上会涌现挚友引荐，这很简朴，只须要剖析用户的挚友，找到朋侪之间的关联，就可以找到这一点。然则当大家网须要决定在广告位上投放何种广告时，则须要对大批的由用户发作的笔墨、照片、分享内容与挚友的互动举行剖析。海量的非构造化、半构造化数据怎样加以构造化并从中找出规律，这须要新的算法、新的剖析头脑。

奥斯卡·王尔德在1894年说，“现在几乎没有无用的信息，这真悲哀。”严厉的说，他一半都没有说对。只要有代价的数据才称得上信息，从数据中取得只管多的信息并不是易事，跟着数据量的扩展，缺失数据发作的比例也会响应扩展，特别当一个样本中涌现多项缺失机，会加大处置惩罚的难度，除了构造模子失之正确以外，另有时候庞杂度方面的题目。

对一切大数据来讲，剖析哪一个题目数据量都不够大，关于一切人来讲，数据都是缺失多于正常数。在数据网络和整合进程当中采纳新手艺手腕防止这一题目将使这一题目在剖析上带来的分险变得更凸起，比方BI公司为了防止数据的不完整性采纳疾速修复手艺整合疏散数据，这将使我们落空最原始的实在数据，这使得研讨者很轻易舍弃与假定不符合的数据，也使考证结论变得不再能够。

比方雀巢在200个国度出卖凌驾十万种产物有55万家供应商，但由于数据库一团糟它并未组成壮大的采购议价上风。在一次搜检中它发明，在900万条供应商、客户和原材料纪录中有差不多一半是逾期或反复的，剩下的有三分之一不正确或有缺失。供应商称号有的简写有的不简写，发作了反复纪录。[18]这一个案例中就包括了关闭、断裂、缺失数据的题目。

当然缺失数据可以尝试经由进程隐约数据集理论取得处置惩罚，但很多研讨情境对数据的要求是有肯定性的。大数据时期须要的不只是全数据、海量数据、及时数据，而是真正的开放、更能够靠近准确、着眼于人和社会的剖析要领和思绪。关闭的数据平台，对断裂数据、缺失数据在剖析上组成的风险的无视会使我们依然停留在小数据时期，更蹩脚的是，数据还在小数据时期，要领上却已在纯真宣扬种种应对大数据的新手艺，这类不婚配组成的杂沓比大数据自身带来的杂沓还要风险。

在肯定意义上，我们可以应用已网络的数据，先来相识怎样把事变做得更好。从这个角度上，我们再来斟酌立异和大数据应用。毕竟，大数据发作影响的不只是经由进程协同过滤手艺来展望你须要什么产物，也不只是什么时刻买机票会更划算一些，这只是使人类和贸易变得更智慧风趣的一个方面罢了，纽约大学商务传授Sinan Aral说：“科学反动之前通常是丈量东西的反动”，[19]大数据云云澎湃的生长之势和囊括一切的大志必将将会影响到科学理论研讨范畴，这也是为何我们须要坚持一点岑寂和谨慎推断的缘由。别的，大数据在推进信息同享，增进社会进步方面显现出来的潜力也值得我们为更圆满的处置惩罚计划勤奋。

诚如格尔兹所说：“热力学第二道理、天然挑选道理、无意识效果意见，或临盆体式格局的构造并没有申明一切的东西，以至连人的事变都没有逐一申明，但他们毕竟诠释了某些事物；熟悉到这一点，我们的注意力也就转向肯定这些事物究竟是什么，转向使我们挣脱这些意见在其最盛极一时之际致使的大批伪科学的环绕纠缠。”在文章的末了，借用格尔兹在《文明的诠释》提出的意见，表达对大数据研讨的意见，由于时至本日，大数据这个意见的隐约的地方仍多于其所明示的，可待完美与研讨的地方依然很多，我们的事变才刚最先。
 

,

盈海咨询是一家专业的消费者调研公司，2005年成立，我们服务的客户80%以上均为世界500强企业以及行业知名企业；

经过多年的发展，建立了适合中国社会调查的独有调查网络，可提供全方位市场调查跟踪服务。咨询电话：010-86399425