当前位置:首页 > 百科中心 > 教育培训 > 技能培训

中软国际哈尔滨ETC:大数据和统计的区别


关于大数据和统计的区别主要有以下两个方面:

 

其一是数据分析时不再进行抽样,而是采用populationn=all);

 

其二是分析方法,侧重所有变量之间的相关性,而不再根据背景学科理论筛选变量,进行假设检验。这两点具体来说区别如下:

 

 

 

大数据的应用,解决了一般统计方法上主要误差来源:抽取样本以及假设检验中使用的前提假设。

 

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取

 

一般统计方法中依据的中值定理和大数定律阐明我们可以通过增大样本容量,且多次抽取样本使得结果更加精确,但这一结论成立的条件在于所有样本的抽取满足i.i.d.independent and identicallydistributed,即假设变量分布独立且相同),而这一假设在现实中很难满足。样本的选择很难做到完全随机。一般商业案例中采用的隔多少位抽取样本的方法在统计学意义上不满足随机要求,所得结果误差在所难免。

 

类似,多大的样本才算足够大也存在争议,而大数据直接采用全样本(population)来进行分析可以消除这一部分造成的误差。

 

 

 

再说分析方法。传统分析方法是对需要回答的问题作出一定的假设,例如教育背景对保险购买金额有影响,然后根据这一假设在所抽取的样本上进行检验。而检验假设这一方法就充满着现实数据不满足的前提假设,比如最著名的正态分布。正态分布是一个很好的假设,因为它能简化计算,而且通过对数据的各种变形,基本上也可以在一定置信区间内勉勉强强算为正态分布。

 

再次,假设检验的结果只能不否认原假设,并不能得出完全支持的结论。

 

 

 

但大数据的情况就不一样。对大数据进行分析时,我们并不需要对问题提出假设,而是通过算法找出变量之间的相关度。同样以上面例子为例,如果教育背景和保险购买额这两个变量间相关度高(e.g. 接近1),那么保险公司就应该更主要针对高教育背景的人推销保险。

 

 

 

大数据的应用可以说是在减少人类处理数据时带入的主观假设的影响,而完全依靠数据间的相关性来阐述。而由于消除人为因素带入的误差,已经分析人员作出假设的限制(如果教育背景和保险购买额是相关的,而分析人员没想到,那这个结论就不会被分析出来,这在实际案例中是很容易发生的,大数据的核心也就在于它能更充分的发掘数据的全部真实含义。

 

 

————————————————

版权声明:本文为CSDN博主「Myhoooyo」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/Myhoooyo/java/article/details/


【云广告】
本文章由网友发布,文章内容不代表本站观点,如文中有侵权行为,请与本站客服联系(QQ:254677821)!

评论