网络安全综述与趋势
“大数据”
背景下传统网络厂商的挑战与机遇
·陈强
（新疆医科大学网络中心新疆830011）
摘要：大数据是现在非常热门的一个话题，尤其是涉足互联网行业的企业，对企业的规划运营提供了指导和分析，进而影响和改变企
业的业务模式和发展方向，大数据时代对传统的网络厂商提出了新的桃战与机遇。关键调：大数据；云计算；发展；挑战
0前言
《纽约时报》2012年2月的一篇专栏中所称，“大数据"时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而做出，并非基于经验和直党。哈佛大学社会学教授加里·金为大数据时代下了一个定义：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。
现代社会信息量的爆炸性增长，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。在此海量数据的产
生，使我们步入了“大数据"时代。 1大数据
微软必应搜索通过集成以往的飞机票价画出未来票价走势：谷歌利用用户搜索记录判断出美国流感疫情的现状，并比疾控中心快一两周：对冲基金通过剖析社交网络推特的数据信息来预测股市的表现；亚马逊和网络影视光盘租赁公司根据用户在其网站上的类似查询来进行产品推荐.....当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，基至是识别潜在犯罪分子上。
何谓大数据？大数据之“大"，并不仅仅在于"容量之大”，更大的意义在于：通过对海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来”大知识”、“大科技”、“大利润"和“大发展”。大数据的”大"是个相对的概念，最近比较流行的"UP智能手环"，笔者也认为也可以发展为一种潜在的大数据模型，将使用者每天的数据进行收集、分析，形成建议报告。若将个体的数据上传在进行分析，就能描绘出更好的使用者群体模型，进而对该模型进行有针对性的开发，当然这涉及到公民隐私，但随着计算机和网络技术的发展，我们的行为、位置及UP智能手环收集的身体生理数据等每一天的变化都成为可被记录和分析的大数据。
那么到底什么是大数据呢，它具有什么特点呢。 1.1大数据的定义
大数据（bigdata），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到操取、管理、处理、并整理成为帮助企业经营决策更积极目的的资
讯。
1.2大数据的特点
大量化（Volume）：大数据的起始计量单位至少是P（1000 个T)、E（100万个T）或Z（10亿个T)。
多样化（Variety）：数据类型繁多，包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求，
价值密度低（Value)：数据价值密度相对较低，随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代重待解决的难题
快速化（Velocity）：处理速度快，时效性要求高。这是大数据区分于传统数据挖据最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果
万方数据
投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
图1大数据的特点
1.3大数据的应用
大数据在各个行业都有应用，比如电商的精准营销、政府的预防犯罪、金融的信用评分等。以我们身边的实际应用举例，淘宝网将注册用户2012年的全年交易数据进行了分析，得出结论
如下：
2012我们一起成长
5量2012m
1e
年的年积变时
546%
e
图2淘宝网将注册用户2012年的全年交易数据分析
根据2012年度全民对账单，可以详细地统计全国各地用户的消费情况。总体而言，手机支付已经开始成为趋势。手机支付金额相比2011年上涨了546%，有超过430万人手机支付的次数超过电脑，其中上海、北京和成都的用户更加偏爱手机支付。
据此结论可以引导企业在手机支付方面进行更多的资源投入。
2大数据处理流程
大数据整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析以及挖掘。
2.1采集
收集来自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。在采集部分，主要特点和挑战方面是并发数高，因为同时有可能会有成千上万的用户来进行访间和操作，比如著名用于购买火车票的12306站点和沟宝，它们并发的访问量在峰值时达到上百万。
2.2导入/预处理
虽然有采集端本身会有很多数据库，但是如果要对这些海量数据进行有效地分析，还是应该将这些来自前端的数据导入到个集中的大型分布式数据库或者分布式存储集群，并且可以在导
入基础上做一些简单的清洗和预处理工作。 2.3统计/分析
II 29