浅谈大数据的研究应用

关大云南大学期末论文摘要近来，大数据引起了产业界、科技界和部门的高度关注。本文简要阐述了大数据的内涵和研究现状，探讨了大数据的重大意义，最后归纳总结大数据时代所面临的新挑战。

关键字：大数据大数据时代数据资源

云南大学期末论文目录一、大数据的内涵................................................................................................1二、大数据的研究综述........................................................................................2

（一）学术界对大数据的研究....................................................................2（二）各国对大数据的研究................................................................3

1.中国.....................................................................................................32.美国.....................................................................................................43.日本.....................................................................................................54.英国.....................................................................................................5

三、大数据的意义................................................................................................5

（一）大数据带来产业升级和新的经济增长模式....................................6（二）大数据引发科学研究思维与方法的一场................................6（三）大数据管理提供新的国家竞争平台................................................7四、大数据面临的挑战........................................................................................7

（一）市场竞争对管理者提出更高要求....................................................7（二）大数据时代的个人隐私遭遇大挑战................................................7（三）信息资源争夺导致国家实力进一步分化........................................8五、结论................................................................................................................8参考文献................................................................................................................9

云南大学期末论文关于大数据的相关问题研究

早在20世纪80年代，美国著名的未来学家阿尔温·托夫勒就预言：“如果说IBM的主机拉开了信息化的大幕，那么大数据则是第三次浪潮的华彩乐章。”[1]但是，大数据概念受到广泛关注，是近几年才有的事。近年来，随着互联网、物联网、云计算、三网融合等ＩＴ与通信技术的迅猛发展，数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇，因而信息社会已经进入了大数据（BIGDATA）时代。大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变．

一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。维基百科对大数据的定义则简单明了：“大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。”[2]

一、大数据的内涵

大数据已经在悄然掀起一场新的，它将会是未来社会创新、生产力发展、市场变革的风向标。下面我们从大数据内涵出发，对大数据时代到来，大数据具有的怎样的含义简要说明。

人、机、物三元世界的高度融合引发了数据规模的爆炸式增长和数据模式的高度复杂化，世界已进入网络化的大数据（BigData）时代。以数据为中心的传统学科（如基因组学、蛋白组学，天体物理学和脑科学等）的研究产生了越来越多的数据。例如，用电子显微镜重建大脑中的突触网络，1立方毫米大脑的图像数据就超过1PB。但近年来大数据的飙升主要还是来自日常生活，特别是互联网公司的服务。“据著名咨询公司IDC的统计，2011年全球被创建和复制的数据总量为1.8ZB（10的21次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。”[4]

1云南大学期末论文大数据是一个比较抽象的概念，它与“海量数据”（massivedata）和“超大规模数据”（verylargedata）在概念上一脉相承，但在数据体量、数据复杂性和产生速度三个方面均大大超出了传统的数据形态，也超出了现有技术手段的处理能力。对于大数据尚未有一个公认的定义，不同的定义基本是从大数据的特征出发，通过这些特征的阐述和归纳试图给出其定义。在这些定义中，比较有代表性的是3V定义[3]：一是规模性（volume），即数据体量巨大，从TB级别跃升到PB、EB级别；二是多样性（variety），即数据类型繁多，如音频、视频、文本、图片等；三是高速性，即更新、处理速度快。除此之外，还有提出4V定义的，即尝试在3V的基础上增加一个新的特性。关于第4个V的说法并不统一，如国际数据公司（IDC）认为大数据还应具有价值性（value）[6]，即具有很高的商业价值，大数据的价值往往呈现出稀疏性的特点。IBM公司则认为大数据必须具有真实性（veracity）[7]。

二、大数据的研究综述

随着以博客、社交网络、基于位置的服务LBS为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。

（一）学术界对大数据的研究在学术界，美国一些知名的数据管理领域的专家学者则从专业的研究角度出

［3］

发，联合发布了一份《ChallengesandopportunitieswithBigData》。

该从学术的角度出发介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。《自然》杂志2008年9月推出了BigData专刊

[8]

，以社论、特写、评议等形式，从计算机网络、信息管理、生物学、医学、互

联网经济学等多角度介绍了海量数据带来的挑战，探讨了大数据的出现及其如何处理的问题。计算社区联盟（Computingcommunityconsortium）在2008年发表了报告“Bigdatacomputing：creatingrevolutionarybreakthroughsin

2云南大学期末论文［9］

commerce,science,andsociety”，阐述了在数据驱动的研究背景下，解决大

数据问题所需的技术以及面临的一些挑战。《科学》杂志则在2011年2月推出专刊“DealingwithData”[3]，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。

全球知名的咨询公司麦肯锡（Mckinsey）2011年6月份发布了一份关于大数据的详尽报告“Bigdata：Thenext

frontier

forinnovation，competition，and

［10］productivity”，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。

进入2012年以来，大数据的关注度与日俱增。在经济领域，2012年1月的达沃斯世界经济论坛将大数据作为会议主题之一，发布了“BigData，BigImpact：NewPossibilitiesforInternationalDevelopment”的主题报告，探索、研究如何让大数据释放潜能、跨越鸿沟，为低收入人群及国家的发展服务。

（二）各国对大数据的研究1.中国

2012年5月，香山科学会议组织了以“大数据科学与工程——一门新兴的交叉学科？”为主题的第424次学术讨论会，来自国内外35个单位横跨IT、经济、管理、社会、生物等多个不同学科领域的43位专家代表参会，并就大数据的理论与工程技术研究、应用方向以及大数据研究的组织方式与资源支持形式等重要问题进行了深入讨论。6月，中国计算机学会青年计算机科技论坛（CCFYOCSEF）举办了“大数据时代，智谋未来”学术报告会，就大数据时代的数据挖掘、体系架构理论、大数据安全、大数据平台开发与大数据现实案例进行了全面的讨论。

《IT时代周刊》、IT商业新闻网、全国CIO/CTO俱乐部于2012年7月21日主办“大数据2012论坛”，北京大学信息化与信息管理研究中心于2012年7月22日主办“首届中国大数据应用论坛”，同年10月召开Hadoop与大数据技术大会，12月14日在京召开中国大数据发展与应用峰会。

中国计算机学会大数据专家委员会成立了大数据共享联盟（BigDataAlliance），是由大数据相关产学研机构和个人自愿组成的学术性、公益性的社会

3云南大学期末论文组织。宗旨是建立并持续积累和维护运行一个大数据收集、展示和共享平台，促进各种基于大数据的研究与开发应用。建立大数据联盟共享平台，包括大数据收集、大数据展示、大数据共享，目的是促进大数据研发。

深圳大数据产学研联盟已经于2013年3月底正式揭牌成立。大数据世界论坛（BIGDATAWorldForum）作为中国及亚洲地区创办及规模最大的大数据专业论坛，2013年7月18日在北京召开第三届大数据世界论坛，共同交流大数据领域前沿技术与发展趋势，探讨如何使用更有效的架构捕捉、存储、整合、管理和分析海量数据，支持企业决策和业务发展，实现大数据的商业价值。

由宽带资本、百度在线、中国联通、亿赞普、联想集团、北京大学等企业、高校共同发起，于2013年成立中关村大数据产业联盟，组织成立中关村大数据工程中心，发布大数据年度发展报告，并策划一系列业界交流活动，加快中关村大数据产业生态环境构建。联盟成立活动上还发布了云天使基金、中云融汇基金和大数据实验室孵化基金三支产业投资基金。

2.美国

美国联邦国防部、能源部、卫生总署等7部委联合推动，于2012年3月底发布了投资2亿美元大数据专项研究计划(BigDataInitiative），把大数据从商业层面上升到国家战略层面。与此同时，联合国一个名为“GlobalPulse”的倡议项目在今年5月发布报告“Bigdatafordevelopment：challenges&

［11］opportunities”，该报告主要阐述大数据时代各国特别是发展中国家在面临数

据洪流（datadeluge）的情况下所遇到的机遇与挑战，同时还对大数据的应用进行了初步的解读。

“美国标准技术研究所2012年6月13~14日召开了大数据研讨会，邀请了ArgonneNationalLab，SciDB，NSA，UCBerkeley的AMPlab,GeorgeMasonUniversity，IARPA，NSF，NIH，DARPA，NOAA、LBL、AirForceOfficeofScientificResearch”[12]等机构参加，研讨大数据及算法、数据分析、大数据项目以及在科学研究领域、环境预测、生物、卫生方面的应用，Microsoft、Google、Amazon，LexisNexis，IBM，Oracle公司分别介绍了各自的大数据的平台、工具和系统。

4云南大学期末论文《纽约时报》的文章“Theageofbig

［13］

data”则通过主流媒体的宣传

使普通民众开始意识到大数据的存在。

3.日本

2012年7月，日本总务省推出新的综合战略“活力ICT日本”[14]，重点关注大数据应用所需的云计算、传感器、社会化媒体等智能技术开发，以解决新医疗技术开发、缓解交通拥堵等公共问题。

4.英国

英国2013年投资1,000万英镑、Philanthropic投资基金投入75万英镑建立了OpenDataInstitute(ODI)。这是全世界第一个大数据研究机构，旨在加强商业界、企业、研究者、和社会公众的合作，强调其、非盈利和无党派的特点。致力于促进公众和企业更好地利用“开放数据（data.uk）”，促进私营企业也逐步开放数据，推动开放数据基础上的商业创新、技术进步和产业发展。

5.欧盟

欧盟委员会于2012年9月发布云计算通讯，委托ETSI发起云计算标准协调行动，与相关利益方协调和确定云计算所必需的标准（包括安全、操作性、数据可移植性和可逆性）的路线图。“2012年12月4~5日，ESTI发起云计算协调行动，讨论云计算领域的标准需求”

[15]

。

2012年4月欧洲信息学与数学研究协会会刊ERCIMNews出版专刊“BigData”[9]，讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题，并介绍了欧洲科研机构开展的研究活动和取得的创新性进展。

三、大数据的意义

大数据是与自然资源、人力资源一样重要的战略资源，是一个国家数字主权的体现。大数据时代，国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。一个国家在网络空间的数据主权将是继海、陆、空、天之后另一个大国博弈的空间。

5云南大学期末论文（一）大数据带来产业升级和新的经济增长模式大数据是现有产业升级与新产业诞生的重要推动力量。数据为王的大数据时代的到来，产业界需求与关注点发生了重大转变：企业关注的重点转向数据，计算机行业正在转变为真正的信息行业，从追求计算速度转变为关注大数据处理能力，软件也将从编程为主转变为以数据为中心。通过数据处理能力极高的计算机并行处理大数据，同时进行大批量的仿真比较和筛选,可以大大提高科研和生产效率，产业流程会发生性再造，使整个行业迈入数字化与信息化的新阶段。大数据已成为传统经济学界定的劳动、资本、土地与企业家才能四类生产要素之外的新资源，它必将对现代经济模式、企业管理运作理念、组织业务流程、市场营销决策以及消费者行为模式等产生巨大影响，使得企业商务管理决策越来越依赖于数据分析，而非经验或直觉。

大数据管理代表着新的经济模式，先意识到这一点的社会主体将会获胜。对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键。真正能够利用好大数据并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。

（二）大数据引发科学研究思维与方法的一场最早的科学研究只有实验科学，随后出现了以研究各种定律和定理为特征的理论科学。由于理论分析方法在许多问题上过于复杂，难以解决实际问题，人们开始寻求模拟的方法，导致计算科学的兴起。海量数据的出现催生了一种新的科研模式，即面对海量数据，科研人员只需从数据中直接查找或挖掘所需要的信息、知识和智慧，甚至无需直接接触需研究的对象。2007年，已故的图灵奖得主吉姆·格雷（JimGray）在他最后一次演讲中描绘了数据密集型科学研究的“第四范式”（TheFourthParadigm）[16]，把数据密集型科学从计算科学中单独区分开来。“格雷认为，要解决我们面临的某些最棘手的全球性挑战，“第四范式”可能是唯一具有系统性的方法。其实，“第四范式”不仅是科研方式的转变，也是人们思维方式的大变化。”[17]

6云南大学期末论文（三）大数据管理提供新的国家竞争平台与市场的有效结合是一国经济发展和国家崛起的不二法门。经济发展支撑国家崛起，而国家崛起又引领经济发展。近年来，大数据的日益发展引起各国、产业界和科技界的高度关注。如美国的“大数据研究与开发计划”，在“基于大数据研究的侦查与预警机制”方面，着力提升军事情报的获取、跟踪、定位、处理、分析和预警能力，寻求通过有效的技术与工具提前识别军事情报中的潜在威胁，达到提前预警与防护的最终目的。

四、大数据面临的挑战

（一）市场竞争对管理者提出更高要求市场形势瞬息万变，企业竞争日益加剧。欣欣向荣的大企业可能因为一个判断失误，很容易就迅速崩溃。这会带来一定程度的社会秩序紊乱，如失业、治安、资本流动等问题，从而给社会保障以更大的压力，提出更高的要求。

大数据的管理需要企业高层管理者的重视和支持。只有得到了企业高层管理者的高度重视，一系列跟大数据有关的应用及发展规划才能有望得到推动，保证大数据质量的各项规章制度才能得到顺利的贯彻和落实。如果企业高层管理者缺乏大数据意识以及对大数据价值的正确理解，通常会给大数据管理带来阻碍。缺少高层管理者的支持，企业对大数据管理、分析和应用的重视程度就会有所降低，大数据的质量就无法得到全面、有效的保证，从而将会大大弱化大数据价值的发挥，不利于企业竞争能力的提升。

（二）大数据时代的个人隐私遭遇大挑战在大数据时代，大数据的搜集、存储及运用需要较强的经济及技术实力，与大企业在数据资源的占有和利用上有先天的优势。及大企业的力量相对增强，中小企业相对弱化，个人的隐私及空间进一步受到压缩。这有可能引致社会阶层进一步分化，改变社会力量对比格局。

7云南大学期末论文美国在线期刊《科学报道》近期的一项研究显示，在网上，“每个人都有自己独特的行为模式，95％的人可能被识别。”[18]普林斯顿大学的计算机科学家说，“可供分析的数据越多，就越不可能保持‘匿名’……”[19]由此，个人隐私暴露问题极易出现，甚至可能会完全没有个人隐私。大数据时代预示着普通个人及小企业难以保护隐私。

（三）信息资源争夺导致国家实力进一步分化大数据时代，国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。一个国家在网络空间的数据主权将是继海、陆、空、天之后另一个大国博弈的空间。在大数据领域的落后，意味着失守产业战略制高点，意味着数字主权无险可守，意味着将出现漏洞。技术先进的国家，可以占据竞争的制高点；而技术落后的国家，即使存在某些资源上的优势，仍然可能会迅速沉沦。当前在大数据分析和应用上，美国和大公司领先新兴国家至少20年。“2012年以来，包括美国、欧盟和日本在内的世界各大政治主体，更是纷纷投入巨资发展大数据技术，这是大国间新一轮博弈的开始。”

五、结论

随着云计算、物联网等的发展，数据呈现爆炸式的增长，人们正被数据洪流所包围，大数据的时代已经到来。本文介绍了大数据的基本概念，对最近几年国内外大数据相关的研究成果进行了全面的回顾和总结，本文还着重介绍了目前大数据研究面临的新挑战。总的来说，目前对于大数据的研究仍处于一个非常初步的阶段，还有很多基础性的问题有待解决。大数据是全新的技术，其与社会制度结合的作用尚未充分展现，其可能的空间还没有被充分认识。智慧可以帮助我们超越时代，预判未来。所以，“在大数据时代应以智慧创新理念，融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效的经济模式、产业结构和商业模式。”[19]并借此提升人民的幸福感，构建全新的社会意识和社会心理，促进全社会的和谐稳定发展。

8云南大学期末论文参考文献

[1]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊,2012,(6).

[2]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,(1).

[3]王元卓,靳小龙,程学旗.网络大数据:现状与展望[J].计算机学报,2013,(6).

[4]李晨晖,崔建明,陈超泉.大数据知识服务平台构建关键技术研究[J].情报资料工作,2013,(2).

[5]林志刚,彭波.大数据管理的现实匹配、多重挑战及趋势判断[J].改革,2013,(8).

[6]宗威,吴锋.大数据时代下数据质量的挑战[J].西安交通大学学报(社会科学版),2013,(5).

[7]郭嘉凯.忘掉大数据[J].软件和信息服务,2013,(11).

[8]胡雄伟,张宝林,李抵飞.大数据研究与应用综述(下)[J].标准科学,2013,(11).

[9]维克托·迈尔-舍恩伯格,肯尼思·库克耶.大数据时代[M].浙江人民出版社.2013:12-13.

[10]徐立冰,腾云.云计算和大数据时代网络技术揭秘[M].人民邮电出版社.2013年4月:34-36,56-59.

[11]李永宏.大数据与云计算[J].统计与管理,2013(6):114-116.

[12]邹斌.大数据环境下统计信息化建设的思考[J].科技创新与应用,2014,02:59-60.

[13]IBMRedbooks:TurningBigDataintoActionableInformationwithIBMInfoSphereStreams,IBMRedbooksSolutionGuide.VP,CorporateStrategy,Hortonworks,SteveWooledge,Sr.Director,Marketing,

9云南大学期末论文[14]AndersonC.TheEndofTheory:TheDataDelugeMakesthe

ScientificMethodObsolete.WiredMagazine,2008,16（7）:pp.1~7.

[15]

GantzJ.，ReinselD.2011DigitalUniverseStudy:Extracting

ValuefromChaos,IDCGo-to-MarketServices，2011.

[16]维克多.迈尔-舍恩伯格，肯尼思.库克著，盛杨燕周涛译，《大数据时代：生活、工作与思维的大变革》，浙江人民出版社，2013，ISBN978-7-213-05254-5.

[17]DanahBoyd,KateCrawford,SixProvocationsforBigData,PapertobepresentedatOxfordInternetInstitute’s“ADecadeinInternetTime:SymposiumontheDynamicsoftheInternetandSociety”onSeptember21,2011.

[18]TeradataAster,HarnessingtheValueofBigDataAnalyticsHowtoGainBusinessInsightUsingMapReduceandApacheHadoopwithSQL-BasedAnalytics.

[19]The2011DigitalUniverseStudy:ExtractingValuefromChaos.InternationalDataCorporationandEMC,June2011.

10