大数据分析建模思路技巧和算法的特征
日期:2018-10-27 16:38:36 点击:36671
近年来,大数据已成为科技界和企业界关注的热点,越来越多的企业和研究者正在关注大数据的应用。大数据的分析与挖掘技术在科学界正在如火如荼的展开,各种大数据的新算法被开发研究出来,例如近年来发展比较完善的一种数据分析挖掘算法支持向量机。
与此同时,大数据分析在商业中的运用受到人们的追捧,各种大数据在商业中成功运用的案例层出不穷,比如美国大型零售商target公司的广告精准推送。本文将对大数据分析技术以及大数据分析技术在零售银行行业的作用进行一番探讨。
什么是大数据
2011年,麦肯锡在题为《海量数据,创新、竞争和提高生成率的下一个新领域》的研究报告中首次提出大数据的概念。报告认为数据已经渗透到每一个行业和业务职能领域,数据中蕴含着巨大的价值,这些价值将导致数据成为重要的生产因素。2012年《纽约时报》的一篇专栏中写到,“大数据”时代已经降临,在商业、经济及其他领域中,最终决策将日益基于数据和分析而作出,而并非基于经验和直觉。2012年3月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”,将“大数据研究”上升为国家意志,对未来的科技与经济发展必将带来深远影响。
进入21世纪,互联网的兴起促成了数据量的大规模增长。互联网时代,几乎全民都在制造数据,与此同时,数据的形成也极其丰富。一方面,既有社交网络、多媒体、协同创造、虚拟服务等应用所主动产生的数据;另一方面,又有搜索引擎、网页浏览过程中被记录、被收集的数据。该阶段数据的特点是用户原创、主动、交互。
根据国际数据公司(IDC)的研究报告,2011年全球被创建和被复制的数据总量为1.8ZB(数据存储单位,泽字节,等于 1024艾字节或270个字节),且增长趋势遵循新摩尔定律,预计到2020年,全球数据量大约每两年翻一番,全球将拥有35ZB的数据量。正是由于信息技术的发展,大数据才能生成和发展。大数据技术正是从海量的、多样化的数据中,快速获得有价值信息的能力。
大数据指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、整理成为人类所能解读的信息。在维克托? 迈尔-舍恩伯格及肯尼斯?库克耶编写的《大数据时代》中,大数据分析是指不用随机分析抽样调查的方法,而采用对所有数据进行分析的方法。
基于目前对大数据的认识,通常认为大数据具备了4V特点,即Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值)。这四个特点从四个方面描述了大数据分析技术:第一,数据体量巨大。从TB级别到PB级别,甚至跃升至EB乃至ZB级别;第二,数据类型多样。包括网络文本、日志、视频、图片、地理位置信息等各种结构化和非结构化的数据都有,一切信息皆为数据。第三,处理速度快。利用各种大数据分析工具,比如hadoop和SPSS,可从各种类型的数据中快速获得高价值的信息,这一点和传统的数据分析技术有着本质的区别。第四,只要合理利用数据并对其进行正确、准确的分析,挖掘出数据内部隐藏的相关关系将会带来很高的价值回报。
与传统的逻辑推理研究不同,大数据研究是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳。大数据分析比较关注数据的相关性或称关联性,所谓“相关性”是指两个或两个以上变量的取值之间存在着某种规律。“相关分析”的目的是找出数据集里隐藏的相互关系网(关联网)。因此大数据是侧重找出相关关系而不是找出因果关系。也许正是由于大数据分析侧重于寻找相关关系,才促使大数据分析技术在商业领域广泛应用。商业的运用在于盈利,因此只要从数据挖掘中发现某种因素与增加盈利有较强的关联性,然后全面开发该相关因素就行。