大数据时代的企业数据管理

 大数据时代，数据必将成为企业的核心资产，可指导企业进行业务流程的有效运营和优化，帮助企业做出更为明智的决策。从企业发展战略出发，通过对企业大数据的分析获得的未被发掘的价值也可以成为企业的一大竞争优势。企业不但可以利用大数据分析结果实施、优化管理决策，还可以利用大数据创造差异化，在信息规模、数据稀缺性方面独树一帜，并可通过数据管理与分析手段将差异性与传统的信息源结合起来，发挥企业大数据信息的更大价值。

我们已迎来大数据（Big data）时代
 
市场调研机构IDC的研究显示，到2020年，全球以电子形式存储的数据量将达到35ZB，是2009年全球存储量的40倍。而这其中，企业数据正在以55%的速度逐年增长。IDC预测，大数据技术与服务市场将从2010年的32亿美元攀升至2015年的169亿美元，年增长率达40%，是整个IT与通信产业增长率的7倍。因此，可以这么说，随着信息化的逐步推进，我们已经迎来了大数据时代。

（1）“大数据”已成为发达国家发展策略。2011年3月29日，美国奥巴马政府以“Big Data is a Big Deal”为题发布新闻，宣布投资2亿美元启动“大数据研究和发展计划”以图增强收集海量数据、分析萃取信息的能力。5月23日，在TechCrunch Disrupt大会上，美国透露了5项将要颁布的重要联邦举措，其核心是政府开放数据计划，将政府数据和一些企业数据公开，以图改善美国人的生活方式， 进而创造工作岗位。

（2）“大数据时代”已成为国际业界热门话题。2011年，“世界经济论坛”发布了“Big Data, Big Impact”报告，阐述大数据为国际发展带来的新机会，建议各国与工业界、学术界、非营利性机构与管理者一起利用大数据所创造的机会。同年，麦肯锡发布《Big data: The next frontier for innovation, competition, and productivity》报告，报告研究了数字数据和文档的状态，同时讲解了处理这些数据能够释放出的潜在价值。与此同时，产业界出现并购热潮，IT巨头纷纷推出大数据方案。

（3）国内，大数据时代刚刚拉开序幕。2010年上半年，淘宝网开始推出数据魔方服务。从其服务页面上可以看到，基于淘宝网上亿用户产生的交易原始数据可以对某项产品的交易趋势、卖家和买家的信用情况、交易时段等多种细节进行统计分析；而淘宝卖家也开始通过数据魔方进行参考决策；2012年6月，国内最大管理软件厂商用友公司董事长兼首席执行官王文京在工信部“信息化与工业化融合高层研讨会”会后接受专访时透露，用友正在寻找并购对象以实现在大数据领域的发展和突破。

大数据的实质和内涵
 
根据麦肯锡《Big data: The next frontier for innovation, competition, and productivity》披露的数据，目前美国雇员超1000 人的企业中，大约有9,466家企业储存数据量已经超越100TB，政府、传媒、银行、证券、公用事业等行业平均每家企业存储数据总量已经超过1PB，最高的证券行业，平均存储数据量已经近4PB。麦肯锡估计，全球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，而消费者在PC和笔记本等设备上存储了超过6EB新数据。这些数据表明，未来数年，数据量会呈现指数增长态势。

1、大数据（Big data），指一般的软件工具难以捕捉、管理和分析的大容量数据，一般以＂TB＂为单位，通常用来形容一个公司创造的大量非结构化和半结构化数据为主的数据集。大数据具有4V特性：

2、Volume（容量大）: 非结构化数据的超大规模和增长；占总数据量的80~90%；比结构化数据增长快10倍到50倍；是传统数据仓库的10倍到50倍。

3、Variety（格式多）: 异构和多样性；很多不同的形式，如文本、图像、视频、机器数据等；没有模式或者模式不明显；不连贯的语法或句义。

4、Value（价值高）: 大量的不相关信息的提纯；对未来趋势与模式的可预测分析；深度复杂分析（机器学习、人工智能VS传统商务智能(咨询、报告等）。

5、Velocity（速度快）: 实时分析而非批量式分析数据输入、处理与丢弃, 立竿见影而非事后见效。

大数据的实质与内涵在于大数据内部信息的关联、挖掘：数据与数据的复杂关系，比如应用系统内或跨应用系统间的结构化数据与非结构化数据的关联；海量数据的存储以及数据在不同群体间的分享；数据（结构化与非结构化）与业务和决策间的关联。通过对这些海量数据的交换、整合和分析，发现新的知识，创造新的价值，带来＂大知识＂、＂大价值＂和＂大发展＂。

从企业战略着眼，管理企业大数据
 
关于大数据的商业价值，IDC认为：“领军企业与其他企业之间最大的显著差别在于新数据类型的引入。那些没有引入新的分析技术和新的数据类型的企业，不太可能成为其行业的领军者。”IBM前不久发布的“全球CIO调查之CIO重要启示”指出，已经有 83%的CIO拥有涵盖商业智能和分析的远期计划，并且CIO们开始更多地关注数据，而非应用。ITValue社区的调研结果也显示，57%的中国CIO 对数据的关注程度超过应用。此外，调查研究还发现，59%的企业缺乏管理他们IT系统数据所需的工具。
 
对任何企业来说，传统的商业智能系统中用以分析的数据，一般都是企业自身信息系统中产生的标准化、结构化的运营数据。然而，通常这些数据只占到了企业所能获取的数据中很小的一部分，大约不到15%。还存在有大量的非结构化、半结构化数据。从企业战略着眼，信息就是财富，企业如果对这些大数据管理得当，就可以发掘出更为强大可靠的决策信息。因此，企业需要从战略高度更为有效地管理好、利用好大数据，服务于企业发展战略，协助决策者能够做出更明智的决策。