浙江大学美国白宫大数据白皮书

⑴ 大数据时代发展历程是什么

大数据技术发展史：大数据的前世今生

今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapRece和NoSQL数据库系统BigTable。

你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。

因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。

当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapRece的功能。

两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapRece。

当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。

如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。

我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。

Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，网络和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。

同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。

这个时候，Yahoo的一些人觉得用MapRece进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的操作，Pig经过编译后会生成MapRece程序，然后在Hadoop上运行。

编写Pig脚本虽然比直接MapRece编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapRece的计算程序。

这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。

随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapRece工作流调度引擎Oozie等。

在Hadoop早期，MapRece既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapRece自己完成。但是这样不利于资源复用，也使得MapRece非常臃肿。于是一个新项目启动了，将MapRece执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。

同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapRece进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapRece每执行一次Map和Rece计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapRece主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapRece在企业应用中的地位。

一般说来，像MapRece、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。

而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。

正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。

此外，大数据要存入分布式文件系统（HDFS），要有序调度MapRece和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。

希望对您有所帮助！~

⑵ 浙江大学在浙江省录取多少人

2021年浙江大学在浙江省仅通过高考统招和“三位一体”综合评价招生计划是2861人，比2020年就增加了397人！

2021年高考浙江省重点高校投档分数线是589分，第二批本科录取分数线是495分，与2020年相同。第三批专科录取分数线是266分。可见，浙江省2021年高考的难度较2020年高考有了提高。

2021年浙江大学在浙江省招生大数据分析

2021年，浙江大学招生分数线最高的是工科试验班（竺可桢学院图灵班），分数线是686分，位次377名。社会科学试验班（竺可桢学院人文社科实验室、智能财务班），录取分数线也是686分，位次350名。这两个专业的录取分数线，仅比北京大学录取最低的专业——文科试验班分数线699分低13分，仅比清华大学录取分数最低的理科试验班700分低了14分。

浙江大学2021年录取分数最低的专业是工科试验班（海洋）专业，招108人，录取分数线是647分，位次8223名。这个位次够低了。而应用生物科学（农学）专业，录取分数线是649分，录取位次是7583名。这两个专业，以前是提前批录取的专业，今年取消提前批次的招生，使浙江大学招生分数线和位次大大降低。

以上内容参考：网络-浙江大学

⑶ 浙江大学大数据健康科学研究生专业主干课程这个专业的主干课程有哪些啊

摘要 大数据技术所涉及的知识是比较广泛的，不同的学校所设置的课程也不一样，但是总的概括来说会学习数学、统计学及计算机三大部分的知识

⑷ 大数据时代是什么意思大数据是在什么背景下提出的

大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据产生背景：

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。

(4)浙江大学美国白宫大数据白皮书扩展阅读

大数据时代的特征

1、数据量大（Volume）

第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

2、类型繁多（Variety）

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

3、价值密度低（Value）

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

参考资料来源：网络-大数据时代

⑸ 浙大海宁校区读研健康医疗怎么样

挺好的。
浙大海宁的授课教师全球聘任，来自浙大本部、爱丁堡大学和伊利诺伊大学厄巴纳香槟校区。师资力量雄厚，师资队伍强大，师资国际化程度高，丝毫不逊于浙大本部。
由浙江大学与中国卫生信息与健康医疗大数据学会共同建设的浙江大学健康医疗大数据国家研究院，该国家研究院将对海量复杂的健康医疗数据进行智能处理、信息挖掘和产业应用，为公众健康、临床实践（疾病诊断和治疗）、政府决策、学科发展提供支撑，并培养健康医疗领域的交叉复合型人才。为此，研究院将打造数据管理、数据挖掘和AI、数据关联整合三大公共技术平台，为健康医疗大数据研究及高层次人才培养和高峰学科建设提供开放性技术平台，为破解“看病难，看病贵”医改难题和提高人民群众医改获得感提供智库支持。

⑹ 如何平衡大数据行业发展与信息保护

如何平衡大数据行业发展与信息保护
随着全球范围内大数据产业的全面推进，公民隐私及个人信息保护问题日益凸显，传统个人信息保护框架在大数据时代遭遇严峻冲击，如何寻求个人信息的合理及有效保护成为各国普遍面临的难题。个人信息不仅承载着个人权益，也在很大程度上牵涉到商业机密、企业信誉、国家安全与信息主权，因此，应妥善协调产业发展与个人信息保护，积极探索顺应时代特征的新思路，构建安全、信任的大数据产业环境。
传统保护框架无法应对新业态发展
大数据时代，个人信息保护面临前所未有的新挑战。第一，随着移动互联网的普及和智能穿戴等物联网设备的应用，个人信息的收集日益密集和隐蔽；第二，多重来源的个人信息进行比对累积，能够形成完整的个人画像和实时追踪，使人们无处遁形；第三，大数据技术能通过特定算法从既有信息中挖掘出新结论，不仅增加敏感信息暴露的风险，还可能用于影响个人权益的决策，如评估个人信用状况等；第四，在数据开发价值的驱使下，个人信息的流转、交易形成链条，信息处理主体多元，传播方式纷繁复杂，对于个人权利行使及政府监管均构成严峻挑战。总之，大数据时代，个人信息的收集方式、使用目的及后果影响日趋失控，个人隐私及数据安全面临严峻威胁。
面对大数据时代的挑战，传统以“知情同意”为核心的个人信息保护框架日益捉襟见肘，在适用方面陷入全面困难。
第一，在个人信息定义方面，海量信息的收集比对大大提升信息识别个人的能力，个人信息边界日益模糊，匿名化操作困难；第二，在目的限定原则方面，信息比对及二次利用是大数据价值开发的核心，个人信息超出原初目的的利用在大数据环境下成为常态，传统目的限定原则被不断突破；第三，在用户同意与用户控制方面，个人信息收集的隐蔽性及流转的复杂性超出预先告知及用户的理解能力，用户往往除点击同意外并无其他选择，用户控制难以行使，权利实质被架空；第四，在多方主体责任认定方面，多元主体尤其是第三方信息中介的力量异军突起，在传统架构中难以寻求有效的适用规定，造成其责任界定不清与监管空白；第五，在信息跨境流通方面，各国间个人信息保护法律制度存在显著差异，对个人信息的跨境自由流通构成严重阻碍。
传统框架陷于全面困境的根本原因在于，它已脱节于大数据时代的个人信息生态系统及流转方式，无法适应新业态的发展需求，因而需要及时转变观念，在新的背景下重新审视个人信息保护的规则及秩序，构建平衡产业发展与个人信息保护的新思路。
加强对使用环节的监管
面对传统框架的困境，国际上诸多机构及学者进行了反思与建议，欧盟诸国、日本纷纷对既有立法进行重新审视和修订，美国更是发布《消费者隐私权利法案》草案，跳出了传统框架，构建大数据时代的新思路。结合国际机构、学者建议以及新兴立法的规定与趋势，将顺应大数据时代的个人信息保护新思路梳理如下：
——在个人信息定义方面，突破个人信息定义的路径依赖，重视对使用环节的监管
传统框架以个人信息定义作为法律适用的前提与边界，然而在大数据时代需要扭转思路。首先，突破对个人信息定义的路径依赖。大数据时代个人信息的边界日益模糊，传统意义上的非个人信息通过关联比对也可能识别出个人，如美国众多机构及学者指出，大数据环境下已不存在绝对意义的非个人信息，与此同时，信息的性质是动态的，无法脱离具体场景进行抽象界定。因此，探究个人信息精准定义的传统思路已不合时宜，以“不构成个人信息”作为排除法律适用的理由也不再充分。
其次，重视个人信息使用环节的监管。世界经济论坛等机构及诸多学者均强调，大数据环境下的隐私风险并非产生于个人信息收集之初，而是在于具体的使用环节，即同一笔信息因使用场景不同带来的后果也有所差异。因此，应将重心由个人信息收集阶段向使用阶段转移，侧重对后端使用环节的监管，适度放宽个人信息定义及前端收集环节的限制。
——在目的限定原则方面，尊重用户合理预期，变目的限定为风险限定
目的限定原则是个人信息保护的核心原则，针对其在新业态中的适用困境，新思路加以重新解读。首先，以用户合理预期为中心，重构个人信息保护边界。世界经济论坛研究报告指出，个人信息保护即确保个人信息的合理利用，是否构成合理利用取决于用户自身是否接受，即用户对其个人信息的收集利用是否有合理预期。因此，大数据时代，对法定目的的僵化遵循已不合时宜，应以用户主观预期为核心重构个人信息保护的合理边界。
其次，以隐私风险为导向，变目的限定为风险限定。个人信息保护的目标是合理控制隐私风险，即个人信息的处理给用户带来精神压力、差别待遇及人身财产损害的可能性。个人信息利用尤其是二次利用是否合理，并非取决于是否符合原初目的，而关键在于新目的能否引发不合理的风险。大数据环境下，应将“目的限定”原则重新解读为“风险限定”原则，美国《消费者隐私权利法案》草案及欧盟数据保护改革草案均新增了隐私风险评估的义务，规定企业应合理控制隐私风险。
——在用户同意与用户控制方面，提升用户同意的针对性，运用隐私设计增强透明度
针对用户同意及用户控制难以行使的困境，新思路主要从以下两方面加以改进。首先，规定个人信息使用在相应场景中合理时无需用户同意。传统架构过度依赖用户同意作为个人信息使用的授权，美国《消费者隐私权利法案》草案做出里程碑式改革，以“相应场景中合理”为标准取代用户同意，在不合理时方需要用户做出选择，提升用户同意与控制的针对性，同时减轻企业与用户负担。
其次，增强个人信息处理各环节的透明度。美国白宫题为《大数据：抓住机遇，坚守价值》的报告指出，良好的透明度能够增进用户参与，延伸用户控制，是大数据时代隐私保护的核心手段。加拿大隐私保护官员率先提出隐私设计的理念，将隐私理念植入技术架构设计，帮助提升透明度及用户体验。
——在多方主体责任认定方面，突出信息中介的独立地位，将隐私风险评估工具纳入统一体系
大数据时代，以“数据堂”为代表的大批信息中介服务商异军突起，成为个人信息生态链的关键一环，然而在传统框架中存在监管真空的困境，新思路从两方面加以应对。首先，突出信息中介独立的法律地位。如美国FTC报告指出，应赋予信息中介独立的法律地位以加强监管。美国议员已提交《信息中介责任与透明度法案》草案，针对第三方中介做出专门性立法，明确其法律责任。
其次，运用隐私影响评估的工具。隐私影响评估是当前国际通用的工具，通过此普适性的工具，能够将第一方信息收集者和第三方中介统一纳入通用的评估体系，根据个人信息处理行为引发的风险等级确立相应的保护义务，构建大数据环境下多元主体的新秩序。
——在信息跨境流通方面，以场景理念构建统一框架，推动国际执法协作与构建流通框架
针对各国法制的差异为信息跨境流通造成的障碍，新思路从三方面提出方案。首先，运用场景理念推动国际通用框架的构建。美国FTC报告指出，通过将影响用户接受度的场景分解为各要素，尊重国际共通的因素，调节地区性差异因素，使全球通用的个人信息保护框架的构建成为可能。
其次，推动国际执法协作与构建流通框架。各国间的执法协作和框架协议是规范跨境流通的必由之路。近日欧美数据传输安全港协议的充分性决定被判无效，美欧计划加紧谈判促进双方执法协作，推动“安全港2.0”方案早日出台。
最后，强化企业作为主体的责任。加拿大个人隐私权保护委员会等机构强调了以“组织机构”为核心的理念，即增强企业作为数据跨境流通主体的责任意识，加强对企业层面的监管，提升行业自律水平。

⑺ 发达国家如何布局大数据战略

发达国家如何布局大数据战略
大数据在美国之所以能被迅速、广泛应用，与美国高度重视大数据价值、积极推动数据开放和拥有一批掌握核心技术的信息技术企业密切相关。

中国国际经济交流中心大数据战略课题组
最近几年，美国、欧盟、日本等主要发达经济体采取各种政策举措，积极推进国家大数据战略，取得了长足进展，成功经验值得中国借鉴。
将推动大数据产业发展上升为国家战略
美国在推进大数据应用上形成了从发展战略、法律框架到行动计划的完整布局，已实施四轮政策行动。第一轮是2012年3月，白宫发布《大数据研究和发展计划》，并成立“大数据高级指导小组”。第二轮是2013年11月，白宫推出“数据-知识-行动”计划，进一步细化了大数据改造国家治理模式、促进前沿创新、提振经济增长的路径，这是美国向数字治国、数字经济、数字城市、数字国防转型的重要举措。第三轮是2014年5月，美国总统办公室提交《大数据:把握机遇，维护价值》政策报告，强调政府部门和私人部门紧密合作，利用大数据最大限度促进增长，减少风险。第四轮是2016年 5月，白宫发布《联邦大数据研发战略计划》，在已有基础上提出美国下一步的大数据发展战略。
欧盟及其成员国已制定大数据发展战略，主要包括:数据价值链战略计划、资助“大数据”和“开放数据”领域的研究和创新活动、实施开放数据政策、促进公共资助科研实验成果和数据的使用及再利用等。欧盟力推数据价值链战略计划，用大数据改造传统治理模式，试图大幅降低公共部门成本，并促进经济和就业增长。2012年9月，欧盟委员会公布“释放欧洲云计算服务潜力”战略，旨在把欧盟打造成推广云计算服务的领先经济体，预计到2020年，大数据技术领域新增投资将为欧盟创造9570亿欧元产值，增加380万个就业岗位。2013年英国政府发布《英国数据能力发展战略规划》，并建立世界首个“开放数据研究所”。
日本把培育大数据和云计算派生出的新兴产业视为提振经济增长、优化国家治理的重要抓手。2013年6月，安倍内阁正式公布《创建最尖端信息技术国家宣言》，这一以开放大数据为核心的IT国家战略，旨在把日本建成具有“世界最高水准的广泛运用信息产业技术的社会”。
2011年，韩国科学技术政策研究院正式提出“大数据中心战略”以及“构建英特尔综合数据库”。2012年，韩国国家科学技术委员会就大数据未来发展环境发布重要战略规划。2013年，韩国未来创造科学部提出“培育1000家大数据、云计算系统相关企业”的国家级大数据发展计划，以及出台《第五次国家信息化基本计划(2013-2017)》等多项大数据发展战略。
注重数据开放共享和隐私保护
目前，全球有75个国家明确承诺要建设开放政府、推行政府数据公开，并以政府白皮书、宣言和最高首长指令等形式启动开放政府数据战略。
与此同时，各国政府加强了数据隐私保护。目前全球已有近90个国家和地区制定了保护个人信息的法律。欧盟从1995年通过《数据保护指令》以来，不断完善法律法规，加强对个人隐私数据的保护。从2002年的《隐私与电子通讯指令》到2009年的《欧洲信息缓存指令》，都是保护个人隐私的监管规定。
2016年4月，欧洲议会通过《一般数据保护条例》，以欧盟法规形式确定对个人数据的保护原则和监管方式，将于2018年5月开始实施。英国、法国、德国、爱尔兰、荷兰等国家也纷纷出台要求电信运营商和互联网企业进行数据留存的法规。2016年10月27日，美国联邦通信委员会(FCC)批准了一项消费者隐私保护规则，要求宽带服务提供商在使用消费者的网络搜索、软件使用、位置信息和其他与个人信息相关的数据之前必须征得用户同意。另外，2016年8月1日，美国和欧盟签署的“隐私盾”协议正式生效，替代以前的“安全港”协议，提高了个人数据保护水平。
重视大数据重大项目研究与应用，占领大数据产业和技术制高点
发达国家以点带面引导大数据发展，通过资助重大项目研究，破解大数据发展核心技术，引导企业和社会推动大数据发展。2012年3月，美国发布《大数据研究和发展计划》时宣布投资2亿美元，联合美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性，并形成合力。2013年1月，英国财政部明确将投入1.89亿英镑用于大数据和节能计算技术研发，旨在提升地球观测和医学等领域的大数据采集分析能力。2013年4月，英国经济和社会研究委员会又宣布新增6400万英镑用于大数据研发，其中3400万英镑用来建立“行政数据研究网络”，汇聚政府部门和机构所收集的行政数据，促进发挥政府数据对科学研究、政策制定和执行的作用。2014年，英国政府投入7300万英镑进行大数据技术开发，包括在55个政府数据分析项目中开展大数据技术应用。2013年，法国政府投入1150万欧元，用于7个大数据市场研发项目，促进大数据研发。
建立高规格的领导机构，统筹和强化部门间协作
各国战略规划都指定专门的管理机构和执行机构，其共同特点是凌驾于传统政府机构之上，突破了传统的政府管理模式，提高了决策与执行的效率。美国由白宫科学和技术政策办公室牵头建立大数据高级监督组，通过协调和扩大政府对大数据的投资、提供合作机遇、促进核心技术研发和劳动力发展等实现大数据战略目标。日本政府内阁和总务省信息通信技术(ICT)基本战略委员会作为日本大数据战略制定和执行部门，肩负制定面向2020年日本新ICT战略的任务。澳大利亚设立跨部门大数据工作组负责战略落地，同时配备专门的支撑机构，从技术、研究等角度提供支撑。英国大数据战略分别针对提高技术能力、基础设施和软硬件建设、推进合作、数据开放与共享，指定具体机构负责，同时由信息经济委员会根据发展战略制定具体实施办法。
政府营造环境，充分调动企业发展大数据的积极性
大数据在美国之所以能被迅速、广泛应用，与美国高度重视大数据价值、积极推动数据开放和拥有一批掌握核心技术的信息技术企业密切相关。谷歌、易安信、惠普、IBM、微软、甲骨文、亚马逊、Facebook等企业很早就通过收购或自主研发等方式布局大数据，成为大数据技术的主要推动者，并快速推出与大数据相关的产品和服务，为各领域、各行业应用大数据提供工具和解决方案。除了传统信息技术企业，在大数据分析、应用及安全等领域还涌现出一批像盛庞卡(Splunk)、天睿(Teradata)等创新能力较强的创业公司，在风投资本支持下快速成长，并引导新的市场发展，为各界应用大数据提供了丰富的创新工具。
强化开源社区在技术开发中的作用，打造大数据产业链的核心竞争力
从大数据技术发展历程看，大数据核心技术如分布式存储、云端分布式及网格计算均依赖开源模式，吸引全球开发者开发、维护和完善代码，从而汇集全球智慧推动大数据技术不断进步。大数据处理的核心技术哈杜普(hadoop)、映射归约(MapRece)和星火(Spark)等均基于开源环境的创新发展。阿帕奇软件基金会(ASF)是推动大数据技术发展的全球顶级开源社区，集结了全球最主要的大数据技术研发公司。同时，大数据领先企业也围绕自身生态打造技术开源社区，这种开源项目方式吸引了全球顶尖技术人才共同开发，推动了技术创新和成果推广。
多措并举，坚守大数据安全底线
一是构建多方协同合作的安全机制。以美国为代表，通过体制机制改革打破数据割据与封锁，整合大数据资源，协调大数据处理和分析机制，推动重点数据平台之间的数据共享，消除和控制高级可持续攻击的危害。
二是组建网络部队，增强威慑能力。2005年4月，美军正式组建专门负责网络作战的“网络战联合功能构成司令部”。日本2005年底决定组建一支由陆、海、空自卫队计算机专家组成的5000人左右的网络战部队，专门从事网络系统的攻防。2013年初，俄罗斯国防部下令要求俄总参谋部确定建立陆军网络司令部的计划。目前，世界上已有46个国家组建了网络战部队，很多国家仍在不断加大网络空间安全投入。
三是提高防范意识，加强主动防御。美国政府要求各联邦机构对所制定的安全计划，至少每隔三年执行一次独立的安全检查或审计。
四是注重“撒手锏”的战略性技术。发达国家紧紧抓住操作系统、密码专用芯片和安全处理器等“撒手锏”的战略性技术研究。
五是依托国家外交战略，促进国际合作。美国利用网络安全话题与其他国家开展外交活动，为美国信息产业谋求更大市场份额。德国推动建立和保持欧盟在世界范围内的广泛合作、联邦政府内部的合作、联邦政府信息技术特派员负责的公共和私营部门之间的合作。
六是推进军民融合，确保制信息权。美国有关机构对大数据投入巨资，目的是应对军事和国家安全领域面临的大数据挑战，提升维护国家安全和信息网络安全的能力。美国不断加强大数据资源开采，联合有关盟友组建“五眼联盟”，进行全球监控。

⑻ 什么是大数据时代

大数据时代

（巨量资料（IT行业术语））
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施

产生背景
编辑

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”[2]

影响
编辑

大数据
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。[3]
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……[1]
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。[5] 每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。[5]

大数据的精髓
大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。[6]
A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样(随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制);
B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。

数据价值
大数据时代，什么最贵?
十年前，葛大爷曾说过，“21世纪什么最贵?”——“人才”，深以为然。只是，十年后的今天，大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据，数据的增长从未停歇，甚至呈井喷式增长。[7]
一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
●1、华尔街根据民众情绪抛售股票；
●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
●3、银行根据求职网站的岗位数量，推断就业率；
●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。[1]

可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时，成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会有接近上帝俯视人间星火的感觉？”
这个问题我曾请教过刘建国，中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道，刘建国曾任至网络的首席技术官，在这样一家每天需应对网民各种搜索请求1.7亿次（2013年约为8.77亿次）的网站中，如果只是在后台静静端坐，可能片刻都不能安心吧。网络果然在提供搜索服务之外，逐渐增添了网络指数，后又建立了基于网民搜索数据的重要产品“贴吧”及网络统计产品等。
刘建国没有直接回答这个问题，他想了很久，似乎陷入了回忆，嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。
在数据可视化呈现方面，我最新接收到的故事是，一位在美国思科物流部门工作的朋友，很聪明的印度裔小伙子，被Facebook高价挖角，进入其数据研究小组。他后来惊讶地发现，里面全是来自物流企业、供应链方面的技术人员和专家，“Facebook想知道，能不能用物流的角度和流程的方式，分析用户的路径和行为。”

特征
编辑
数据量大（Volume）
第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
速度快、时效高（Velocity）
第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]

案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：
1、2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。
IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”
在国内，网络已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。
事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。[1-2]

提供依据
编辑
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。
事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱） IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

应对措施
编辑
一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为企业的后期的数据收集和分析做好准备，企业可以从下面六个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。
准则
虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT经理要了解公司现有IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语，而并不是所有的IT人员对大数据都非常了解，例如如今的Hadoop，MapRece，NoSQL等技术都是2013年刚兴起的技术，企业IT人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示，随着大数据时代的到来，企业应该在内部培养三种能力。第一，整合企业数据的能力；第二，探索数据背后价值和制定精确行动纲领的能力；第三，进行精确快速实时行动的能力。
做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。
望采纳，谢谢

⑼ 大数据时代已经到来,什么是大数据

大数据时代已经到来,什么是大数据

大数据时代已经到来,你了解吗？什么是大数据？一、大数据出现的背景进入2012年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识 到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。最早提出大数据时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的 挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日， 却因为近年来互联网和信息行业的发展而引起人们关注。大数据在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量，大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。二、什么是大数据？信息技术领域原先已经有“海量数据”、“大规模数据”等概念，但这些概念只着眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求，而“大数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活动，是数据对象、技术与应用三者的统一。1、大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、无限的数据集合，如微博、微信、社交网络上的全部信息。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。亚马逊网络服务(AWS)、 大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的定义：“大数据是最大的 宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。”Kelly说：“大数据是可能不包含所有的 信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。3、大数据应用，是 指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务 需求、数据集合和分析挖掘目标存在差异，所运用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、技术、应用”三位一体同步发展，才 能充分实现大数据的价值。当你的技术达到极限时，也就是数据的极限”。大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。三、大数据的类型和价值挖掘方法1、大数据的类型大致可分为三类：1)传统企业数据（Traditionalenterprisedata）：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。2)机器和传感器数据（Machine-generated/sensor data）：包括呼叫记录（CallDetail Records），智能仪表，工业设备传感器，设备日志（通常是Digital exhaust），交易数据等。3)社交数据（Socialdata）：包括用户行为记录，反馈数据等。如Twitter，Facebook这样的社交媒体平台。2、大数据挖掘商业价值的方法主要分为四种：1)客户群体细分，然后为每个群体量定制特别的服务。2)模拟现实环境，发掘新的需求同时提高投资的回报率。3)加强部门联系，提高整条管理链条和产业链条的效率。4)降低服务成本，发现隐藏线索进行产品和服务的创新。四、大数据的特点业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。具体来说，大数据具有4个基本特征：1、是数据体量巨大数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量; 网络资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前 为止，人类生产的所有印刷材料的数据量仅为200PB。2、是数据类别大和类型多样数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化 数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。3、是处理速度快在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。4、是价值真实性高和密度低数据真实性(Veracity)高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。五、大数据的作用1、对大数据的处理分析正成为新一代信息技术融合应用的结点移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya Krishnan,卡内基·梅隆大学海因兹学院院长)。2、大数据是信息产业持续高速增长的新引擎面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。3、大数据利用将成为提高核心竞争力的关键因素各 行各业的决策正在从“业务驱动” 转变“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费 者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作 用。4、大数据时代科学研究的方法手段将发生重大改变例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。六、大数据的商业价值1、对顾客群体细分“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。2、模拟实境运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸性增长。Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。交易过程、产品使用和人类行为都可以 数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量(比如不同地区不同促销方案)的情况下何种方案 投入回报最高。3、提高投入回报率提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把”大数据”成果和“大数据”能力比较薄弱的部门分享，帮助他们利用“大数据”创造商业价值。4、数据存储空间出租企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用 户两大类。主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚 马逊、网易、诺基亚等。运营商也推出了相应的服务，如中国移动的彩云业务。5、管理客户关系客户管理应用的目的是根据客户的属性(包括自然属性和行为属性)，从不同角度深层次分析客户、了解客户，以此增加新的客户、提高客户的忠诚度、降低客户流失 率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵。不少中小商家将飞信作为初级CRM来使用。比如把老客户加到飞信群里，在群朋友圈里发布新 产品预告、特价销售通知，完成售前售后服务等。6、个性化精准推荐在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如应用商店软件推荐、IPTV视频节目推荐等，而通过关联算法、文本摘要抽取、情感分析等智能分 析算法后，可以将之延伸到商用化服务，利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。以日常的“垃圾短信”为例，信息并不都是“垃圾”，因为收到的人并不需要而被视为垃圾。通过用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳搜集相关消费信息，例如经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。7、数据搜索数据搜索是一个并不新鲜的应用，随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型应用如中国移动的“盘古搜索”。七、大数据对经济社会的重要影响1、能够推动实现巨大经济效益比如对中国零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。2、能够推动增强社会管理水平大数据在公共服务领域的应用，可有效推动相关工作开展，提高相关部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。3、如果没有高性能的分析工具，大数据的价值就得不到释放对大数据应用必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确而否定其重要作用。1) 由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据，加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟，所以对 计算机完成的大数据分析处理的结果，无法要求其完全准确。例如，谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感暴发，但由于微博上无用信息的 干扰，这种预测也曾多次出现不准确的情况。2)必须清楚定位的是，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维，辅助决策。简单而言，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供十种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。所以，客观认识和发挥大数据的作用，不夸大、不缩小，是准确认知和应用大数据的前提。八、总结不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。1、从大数据的价值链条来分析，存在三种模式：1)手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。2)没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业，比如，埃森哲，IBM，Oracle等。3)既有数据，又有大数据思维；比较典型的是Google，Amazon，Mastercard等。2、未来在大数据领域最具有价值的是两种事物：1)拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2)还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海。大 数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域，有着旺盛的应用需求、广阔的应用前景。为把握这一新兴领域带来的新机遇，需要不 断跟踪研究大数据，不断提升对大数据的认知和理解，坚持技术创新与应用创新的协同共进，加快经济社会各领域的大数据开发与利用，推动国家、行业、企业对于 数据的应用需求和应用水平进入新的阶段。

⑽ 浙江大学2022少民高层骨干计划招生专业有数据科学与大数据技术吗

在2022年的招生计划中没有这个专业。
少数民族高层次骨干人才计划，简称少数民族骨干计划，是五部委为贯彻党的民族政策以科教兴国战略推进西部大开发战略的重大举措。计划从2006年起用五年时间为西部培养一批少数民族高学历专业人才，培养学校为双一流以上重点大学，生源为西部省市区。按照“定向招生、定向培养、定向就业”的要求，采取“统一考试、适当降分”等特殊政策措施招收新生。毕业生一律按定向培养和就业协议到定向地区和单位就业，硕士服务期限为5年，博士8年。经费享受中央级高校研究生的拨款政策。