大数据：热潮中切忌一哄而上 科学规划很重要
“通过大数据的挖掘，从资料完整度、交友真诚度及账号安全度评定用户‘靠谱度’。”一家著名婚恋介绍网站最近打出广告，声称可用“大数据”技术打击相亲骗子。
如今，“大数据”是一个时髦的词汇，很多商家纷纷推出“大数据”服务。全世界的大数据技术研发机构都吸引了众多风投和眼球。
大数据让人眼前一亮，也让人两眼一黑。9月，著名信息技术分析公司Gartner发布《2013年大数据普及程度背后的炒作》报告，指出2013年30%的企业已开始大数据工作，而另外34%的企业有计划在两年内开始。但这些企业大多告诉调查者，不知道自己在做什么，也不知道为什么要做大数据工作。
根据这一报告，半数以上企业不知道如何从数据中获取价值;三分之一的企业缺乏大数据处理能力;甚至还有超过五分之一的公司不知大数据究竟为何物。
如果连嗅觉灵敏的企业家们都不真正理解大数据，其他人就更是难窥其全貌。大数据时代还在雏形，它会变成什么样子没人能说准。
起源于科学界的商业热词
尽管商界对大数据带来的商机津津乐道，但一开始讨论大数据时代的是科学家。“生命与医疗、粒子物理、天气预报、基因学、地震预报等已经是数据密集型应用了。”清华大学自动化系教授肖田元说，“典型的例子是美国气象预报局年数据量达 30PB(1PB=100万GB)，每日观察资料超过35亿份。DNA序列分析使用网络大数据分析工具进行亿万次DNA短链分析，制造基于DNA的分子物质。科学家还推出大尺度数据管理架构与可视化方法，让解码人类基因组这种原先花费10年的工作可以在一周内完成。”
上海大学教授费敏锐介绍道：“像华大基因，分析的数据量有几百PB。他们在全世界找到了25种栽培稻和24种野生稻，正因为有大数据分析能力，他们扫描了这些水稻的全基因图，找到了162个决定水稻产量的基因。”
大型强子对撞机(LHC)的例子更是常被提及，LHC每秒钟生成1PB的数据，要用4.5万个磁带机做存档，是目前世界上最大的数据生产者。
在此背景下，2008年9月，《自然》杂志推出大数据专刊，探讨科研形态变化;《科学》杂志2011年也推出大数据专刊，将大数据深度分析看成未来研究的突破点。
“真正开始讨论大数据，大家都公认是《自然》杂志2008年的专辑所带来的。”电子科学研究院研究员王积鹏说，“计量文献来看，讨论大数据的论文2011年发生井喷。这几年大家都拿大数据说话，但是主要在于应用，而不是在于理论研究。”
科学家们当时的忧虑是大数据难以处理，肖田元说：“计算机已经超过了千万亿次级，‘天河二号’是2000万亿次，未来10年可能达到亿亿次。但是软件发展很慢。美国也是这样，认为高性能计算的算法开发滞后。我们国家高性能计算机为什么利用率不高，原因就在这里。”
典型的数据管理困境，如国内一位信息技术工作者所说：“我做过某卫星的信息资源管理，卫星每天产生上百GB的数据量。处理完之后，文件都存在相应的磁盘、磁带等，通过几个系统呈现，一年下来数据量相当大，但是并没有产生大数据的特性。”
工业界也提出了类似问题，肖田元举例说：“有个著名的发动机公司提出设想，把它的航空发动机数据实时传到总部，结合过去的数据，实时检测和预报故障。数据量非常大，现在要同时检测、计算和预报，很难做到。”这一困难，肖田元概括为“科研智能如何赶上感知能力”。
在科研界关于大数据挑战的讨论之后，互联网商业看到了大数据中的“金矿”。这也是被如今大家所熟悉的大数据议题。最典型的例子如宏源证券研究所副所长易欢欢介绍：“阿里巴巴，最早从B2B到B2C，聚集了千万级的中小微企业，形成了5.4亿注册用户。这个公司牛在哪？这些数据背后的因素包括什么?销售数据、产品数据、应收账款、存货、资金流向、物业信息等一系列综合信息，而且是实时的，远比银行报表准确得多。它有你的消费偏好、家庭地址、还款卡号等一系列信息，这才叫大数据。”
IT业研究公司M&M发布的一份最新报告指出，全球大数据市场将在未来5年内迎来高达26%的年复合增长率——即从今年的148.7亿美元增长到2018年的463.4亿美元。膨胀速度如此快，可见市场对大数据概念响应的热烈。
不同行业从不同角度发现了数据爆炸的挑战和机会。最终，大数据频频见诸媒体，成为达沃斯等国际峰会上的热词，但就如前述报告所显示的，企业家对这一概念并无把握。
数据公开让美国占得先机
大数据商机显现后，2012年3月，奥巴马政府发布《大数据研究与发展倡议》，同时组建“大数据高级指导小组”，标志着美国把大数据提高到国家战略层面。
国防大学教授胡晓峰说：“我认为奥巴马试图通过大数据发展计划，再次重复信息高速公路计划带来的互联网霸权。美国人已经把目光瞄准到大数据的未来领域，我觉得是为了创造未来的大数据霸权奠定基础。”
“美国政府提出大数据计划的根源，在于有十几年以上数据公开的基础。”北京理工大学教授丁刚毅说，美国的DATA.GOV网站就体现了政府公开数据的力度，“大家可以上网看，DATA.GOV的数据量非常大，和世界银行、联合国的数据都可以媲美。里面很多都是敏感数据，但它就是敢公布，认为只有公布这样的数据，才能有更好的国际合作去应对危机。欧盟、英国，包括巴西这样的发展中国家，都已经加入了DATA.GOV”。
丁刚毅说，在数据公开上，联合国组织和美国的一些研究机构在全力以赴，已经有10年了。每年还有各式各样的活动促进数据公开。
美国数据开放，使不少基于政府数据的服务，创造了巨大效益。比如硅谷有一家“气候公司”，利用美国气象局数据库中几十年的天气数据，研究各地降雨、气温、土壤状况与历年农作物产量的相关度，预测农场下一年的产量，以出售保险。这家公司由于前景光明，最近被农业巨头孟山都公司收购。
还有利用气象信息和航班误点信息来预测航班误点几率的服务，可以推动航空公司提高正点率。再如城市治堵，政府的数据也排上了用场——美国和英国最早利用大数据管理交通，给出交通预测，让公私车辆适时出行。
对于政府数据公开的益处，美国商务部首席信息官西克曼在一次IT会议上说：“政府实现预期目标的真正障碍不仅在于收集数据，更在于如何将数据转化为切实可用的信息产品以及开发知识。”
“毕竟很多有能力提出好点子的人才分散在各个私有组织，他们也许会提出一些关于数据利用的优秀方案。”西克曼说，“分享我们的数据，并不只是为了追求所谓政府事务的透明度，这真的有可能以全新方式，让我们产生并传播的数据迸发出别样的力量—— 而这一切在我们现有的规划及有限的资源面前根本无法实现。”
丁刚毅说，他曾跟国内一些著名的互联网公司接触过，申请共享其数据，公司表示“给你一段可以，几百个TB也好，几个PB也可以，但连续的数据绝对不可以”。他认为，对于研究者，长期不断、随时随地都可以接触的数据，才是大数据。
“政府和行业共享数据应该是大数据的基础，离开共享政策，根本就没有大数据。”丁刚毅说。
大数据繁荣需共享+立法
中国人对大数据的关注并不晚。2012年7月，我国《“十二五”国家战略性新兴产业发展规划》明确提出，要“加强以海量数据处理软件等为代表的基础软件的开发”。2012年12月，中关村大数据产业联盟宣布成立。
根据IT分析公司IDC预测，中国大数据技术与服务市场将快速增长到2016年的6.16亿美元。但这一数额仅仅是世界市场的一个零头。
网络研究专家秦安在接受媒体访问时表示，中国设立大数据机构从时间上看，似乎并不落后于美国，但大数据应用涉及整个以互联网为核心的产业链，美国在大数据应用上的领先程度由思科、微软、谷歌等跨国IT公司的实力所决定，恐怕中国几十年内难以完全超越。
9月30日，中共中央政治局在中关村调研时，百度公司CEO李彦宏就宣讲了大数据的题目。他认为大数据在两方面最有价值，一是促进信息消费，加快经济转型升级;二是关注社会民生，带动社会管理创新。李彦宏同时表示，国家层面要发展大数据，就要促进数据开放，扶持科研、培育人才。
这种“数据开放”的观点，代表了中国大数据行业观察者的共识。互联网评论家葛甲指出：“数据开放在割据状态的互联网上靠企业的力量是完不成的，只有从政府层面去进行推动。现在做大数据的公司这么多，其实多数只有个壳子，没有实际内容。大数据的基础是巨量数据，不具备一定程度的数据量，是做不成的。于是，李彦宏提出了数据开放这个概念。”
葛甲认为，数据开放“这里面的难处，在于配套的管理制度和法律法规，政府的作用就是维护其公平性，坚决维护小企业的商业利益，扮演好管理者和仲裁者的角色，不要让自身经济利益牵涉其间”。
信息产业专家、中国工程院院士邬贺铨今年在一篇名为《大数据时代的机遇与挑战》的文章中也写道：“中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁。”
还有一位业界专家告诉记者，政府对大数据行业的扶持，除促进数据公开外，应采用购买服务的方式，而非越俎代庖，设立不必要的政府项目。
另外，邬贺铨还指出应尽快制定《信息公开法》。“现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私;既提倡数据共享，又要防止数据被滥用。”他认为，需要界定数据挖掘、利用的权限和范围，防止信息被损坏、篡改、泄露或被窃，保护公民的信息安全。
“(大数据)标准和产业格局尚未形成，是我国实现跨越式发展的宝贵机会。”邬贺铨说，“要注意科学规划，切忌一哄而上。”
