大数据的发展与技术应用

大数据的发展与技术应用曹逸知（江苏省宜兴中学，江苏省宜兴市214200）

其重要性也一并【摘要】进入21世纪，随着电子信息技术的发展，人类进入了大数据的时代。大数据在我们日常生活中的应用也日渐增多，

同时对大数据所涉及的几项重要技术以及它们增强。本文从大数据的起源、发展历程，研究现状，以及大数据未来的发展趋势等方面进行探究。

的应用进行一定的阐述。以期对大数据感兴趣或从事相关行业的人员提供帮助。

技术【关键词】大数据；发展；

【中图分类号】【文献标识码】【文章编号】（2019）TP311.13A1006-422201-0051-02

1大数据概述1.1大数据的概念及特点

大数据是在20世纪末到21世纪初萌芽的袁大数据萌芽期的标志主要是数据挖掘理论的发展和数据库技术的成熟遥

1.2大数据的起源及发展历程

大数据渊BigData冤是指无法在一定时间范围内用常规软件工具进行捕捉尧管理和处理的数据集合袁需要新的处理方法袁使得大数据技术具有更强的决策力尧洞察发现力和流程优化能力遥

大数据可以概括为4个V袁数据量大渊Volume冤尧速度快渊Velocity冤尧类型多渊Variety冤尧价值渊Value冤遥数据量大渊Vol鄄ume冤袁是指大数据的储存袁运算袁采集的数据量都非常大袁一般达到了以P尧E尧Z来作为计量单位的程度遥速度快渊Velocity冤袁是指大数据处理信息的速度非常快袁而信息的高效处理又便于人们从复杂尧零散的大量杂乱信息中快速找到对自己有用的信息遥这也是大数据的一个优势所在遥类型多渊Variety冤袁是指大数据所拥有的数据类型较多袁一般包括了结构化尧半结构化和非结构化数据等遥价值渊Value冤袁大数据的价值要从两方面来看遥一方面袁由于数据多且杂袁导致一大段数据中仅仅有一小段数据是有效数据遥这也就导致了大数据的价值密度较低遥而另一方面袁如果能高效的利用大数据袁那大数据所带来的回报也是及其惊人的袁所以它相对来说价值也是较高的遥

也是在这一时期袁一些基本的智能管理工具和技术开始被应用在知识尧信息管理这一方面遥萌芽期的大数据技术主要研究方向是集中在算法渊Algorithms冤和识别渊Identification冤等方面[1]遥

随着相关技术的进步袁大数据的发展就进入了突破期遥在这一时期袁围绕着非结构化数据的研究使得大数据技术取得了极大的突破遥这时QQ尧等社交软件的流行袁产生了大量的碎片化数据袁这也使得有效管理这些碎片化数据的需求增大袁从而推动了大数据技术的发展遥到了10年往后袁大数据逐渐被提升到体现国家意志的层面上来遥大数据对于国家未来的发展方向开始起到一定的指导作用遥大数据不仅运用在知识的整理归纳上袁也开始逐步的被运用到商业袁军事袁等多个方面遥大数据分析甚至可以通过超级计算机的强大运算能力袁结合大量的数据及资料袁为选举提供相当的支持遥

2012年袁联合国发表的叶大数据促发展院挑战与机遇曳更是把大数据的发展带入了一个前所未有的高潮[2]遥大数据在适应社会需求袁为人民服务袁指导民生袁经济的发展方面也是做得越来越好遥

1.3大数据在我国的研究现状

大数据在我国的研究近几年才获得了些许成效遥比欧美国家晚了几年袁但这不影响国家对大数据发展的重视遥在野十二五冶期间袁国家有关部门就设立了专门研究大数据的机构遥

计算机网络上存在的很多不良信息同样是对计算机网络信息安全的一种威胁袁有针对地筛选网络中的各种信息能有效减低这些威胁带来的安全隐患遥通过对网络环境的净化可以让计算机网络使用者有一个安全的网络使用环境袁净化网络环境的手段通常有以下几种院

渊1冤安装信息过滤系统遥例如我国曾经推行的绿坝以及现下的防火长城遥

渊2冤网站启用更完全的加密遥常用的互联网网络协议早已被证明存在安全隐患袁有关组织可以敦促网站改革袁采用安全为目标的互联网协议遥

渊3冤成立专门的网络安全信息组织遥有针对地成立专门的网络信息安全小组袁对网络上的不良信息进行甄别袁对不法分子进行抓捕可以有效净化网络环境袁促进计算机网络信息安全遥

2.2净化网络环境

通过这些网络安全组件可以帮助我们提高计算机网络的安全性袁尽快将攻击者击退袁防止我们的网络信息遭到恶意攻击和窃取袁造成不必要的损失遥

当我们的计算机网络信息安全受到威胁时袁我们的首要任务应该是尽快让攻击者离开袁降低计算机网络信息的损失袁当攻击者在我们的计算机网络中停留的时间越长袁他们窃取我们的计算机私人数据的时间就越多袁我们的信息安全就越受到威胁遥因此我们一定要加强计算机网络信息安全建设袁建立一个和谐的网络环境遥

参考文献

3结束语[1]陈冬梅.基于计算机网络技术的计算机网络信息安全及其防护策略[J].电子测试袁2017渊4冤院60.

[2]庞姚.关于计算机网络信息安全及防护策略探究[J].信息与电脑渊理论版冤袁2017袁12渊11冤院83.

[3]王忠.关于计算机网络信息安全及防护策略探究[J].数字通信世界袁2017袁12渊8冤院54~55.

收稿日期：2018-12-17

52通信设计与应用

同时袁国内的一些互联网巨头袁如腾讯袁阿里巴巴等都在不遗余力的推动大数据的发展遥社会各界对于大数据的关注也在一定程度上给大数据的发展提供了便捷遥2017年12月袁在政治局第二次会议时提出野实施国家大数据战略加快建设数字中国冶的目标袁这也代表着我国对大数据的2重大数据的视上升到了一个新的高度[4]遥

技术是大数有据价值关技术体现的手段和前进的基石遥在大数据中应用的技术有很多袁如云计算尧分布式处理技术尧存储技术和感知技术等等遥正是有了这些技术大数据才能起到它应有的作用遥所以说大数据的采集尧处理和存储袁是离不开相关技术2.1的遥

决决策策树树算算法是法概述

在大数据的处理中得到广泛应用的一项技术遥所谓决策树袁就是你遇到在一个比较复杂的有很多信息的情况下袁你难以在较快的时间内找到你所需要的那一部分信息袁那你就通过设立一些条件袁把那些比较杂乱的信息进行初步的分类和整理袁使这些信息变得有序遥便于你从中找到自己所需要的那一部分信息遥且决策树的分类可以按照你对信息的需求度袁按优先级从高到低的进行分类遥而这些分类可以大幅减小计算机的运算量袁并且大大加快了运算的速度袁节2.2省了大线性线量性的回回归时间归的研究算袁提高法概述

了效率遥

思路是神经网络研究的基础袁也是一些非线性模型的基础遥线性回归主要是把数据进行线性化分析袁使其研究起来更加方便袁简洁遥在一堆杂乱无章的数据中找到一条能使这些数据尽量拟合的直线袁是线性回归方程所要做的遥这也是为了使数据更容易被预测遥在线性回归方程中会用到一个名词叫损失函数遥这在很多的算法模型中会出现遥它的意思就是样本的预测值与真实值的误差遥线性回归方程就是要力求把这个误差尽可能地缩小袁提高预测的准确性遥所以说3袁线性大数据回归方在程现实在大数生活据分析中中的应用起到的作用也是非常大的遥大数据在生活中有很多应用遥其目的都是为了让我们从大量无用的信息中筛选出一些有用的信息遥而我们在通过这些信息来制定一定的计划袁作出一定选择遥在NBA中袁大数据就得到了十分充分的利用遥从最基本的选秀方面就可以得到体现遥球队会收集大量的有关该球员的身体素质方面的信息以及之前该球员的比赛数据袁如场均得分袁篮板袁助攻失误比等衡量一个球员优秀与否的数据遥再通过这些数据以及试训所获得的信息袁建立相应的数据模型对该球员未来的职业生涯袁所能达到的成就进行一定的预测遥也方便球队制定相应的战术遥同样袁在战术制定的方面袁大数据也起着至关重要的作用遥不论是球队的阵容安排袁还是平时球员的训练科目袁都是结合了大数据分析之后的结果遥甚至连球员平时的一日三餐的食谱也是结合了数据分析出来的最佳搭配遥就从NBA球队对大数据的利用来说袁我们不难看出袁大数据已经应用在我们的生活中的方方面面袁由此也可以体现出大数据在我们生活中的4重要性也是逐步提升遥

4.1大数据的局限性大大数据的数据的存储存储问题

方面主要存在两个问题遥一个是碎片化问

题袁一个是时效性问题遥碎片化问题主要是因为数据的来源过

2019年1月多袁使得非结构化的数据增多袁从而另一般的数据库难以储存这类数据袁也令数据的识别和处理变得低效遥加快新型数据库的研发袁是解决这类问题的一个重要途径遥时效性问题主要是因为随着时间的推移袁新的数据逐步变为旧数据袁这使得一些只在短时间内有价值的信息袁比如那些用来对未来事件的发展趋势做出预测的信息袁一旦过了一段时间袁其价值就会迅速贬4.2值遥大数据的这也使得对处数理问题

据的利用效率降低遥

大数据处理方面的问题主要是由数据本身的不确定性以及对处理设备的硬件要求过高所带来的遥由于大数据中所蕴含的海量信息袁以及网络上无时无刻不在产生的大量新信息导致了大数据的处理必须要有极高的处理技术袁一般要构建专门的计算而机另集群一个问题来进行大就是数大据的数据的不处理袁确这定也性约袁制及了大数据数具有据的发展[3]遥一定的片面性袁及使通过大量数据对事件进行预测袁也会出现极大的偏差袁这也是大数据的处理方面一个急需要被攻克的难4.3题遥

大大数据的数据的安全安全问题

问题也是主要存在于两个方面袁一个是因为数据自身的价值较高袁导致黑客的攻击遥这也是导致数据泄露的原因袁因为一部分数据与用户的隐私相关袁所以这一方面的问题也是深受大众关注的遥就如在网上引起热议的华住酒店的用户数据泄露事件遥数亿用户数据在暗网上被明码标价的贩卖袁这种事件让大众对网络数据的安全性存在疑问遥而另一方面的问题就在于数据的难以恢复性遥由于数据的采集袁储存袁处理都十分困难袁而且一部分数据是具有时效性的袁所以这类数据一旦丢失袁就十分难以恢复袁所造成的损失也会变得十5分总巨大结遥

现在的社会是一个高速发展的社会袁科技发达袁信息流通袁人们之间的交流越来越密切袁生活也越来越方便袁大数据就是这个高科技时代的产物遥有人把数据比喻为蕴藏能量的煤矿遥煤炭按照性质有焦煤尧无烟煤尧肥煤尧贫煤等分类袁而露天煤矿尧深山煤矿的挖掘成本又不一样遥与此类似袁大数据并不在野大冶袁而在于野有用冶遥价值含量尧挖掘成本比数量更为重要遥对于很多行业而言袁如何利用这些大规模数据是成为赢得竞争的关键遥

[1]08-10陶翔.大数据技术的发展历参考文献

程及其演化趋势[N].科技日报[2][3]陈[4]石文颖渊002亮.大冤.大数.

袁2014-数据发据的展局历限性程综[J].述河[J].北当企代业经袁济2018袁2015渊08渊08冤院13~15.子彭测量宇与袁庞仪景器月学报袁刘袁大同2015袁袁彭29喜渊04元冤院.大469~482.

数据院内涵尧技术冤院68~69.

体系与展望[J].电收稿日期：2018-12-19