据悉，Gartner最近的一份调查报告显示，企业数据年平均增长速度大约在40%到60%。而美国政府在即将到来的大数据项目中将面临重重挑战，其中之一就是生成数据量不足。一些生成大量数据机构(包括国家天气服务局、国家海洋和大气管理局)的主管政府部门，美国商务部的这一数字甚至更低。

美国商务部CIOSimonSzykman在最近的FOSE大会上表示：“我们不存在挑战的领域之一就是我们生成数据的能力。我们生成数据的基本能力提升很大，从很大程度上讲，这一能力已超越了我们处理数据、管理数据和转移数据的能力。”

如何管理数据，并将数据从一点转移到另一点，将是美国政府面临的一大挑战。Szykman还提到了商务部在大数据中遇到的其他一些重要问题，主要为以下五个方面：

数据的真实性

大数据的重要性不仅是在于数据所生成的记录，更大的价值在于根据这些数据得出科研结果的“复制能力”。而从学术层面来看，这正是你证实所做工作价值的时候：其他人也可以对结果进行复制。另一方面，如果你丢失了得出科研结果的那些数据，这会降低结果的合理性。

数据工程师

研究领域的很多科学家正在研究大数据的精密使用，比如在预防医学、药品设计和胎儿检查领域如何开发基因数据。但Szykman担心的是，真正了都大数据技术构架的人太少。我们需要好好想想大数据及我们如何利用它，特别是在一些特殊领域。无论是政府的直接应用还是由政府出资科研，政府都在推动大数据这一前沿技术的发展。

大思路，早规划

在向开放数据转移的过程中，尽早搞清楚系统生命周期的要求显得越来越重要。在过去，没有做的一件事就是尽早研究开放数据在生命周期上的要求。数据模型、分享和信息的情况会越来越普遍，而系统性的战略会越来越多。在生命周期的早期，当我们成功安装新的系统或应用程序后，就应该尽早考虑该问题。

保密性vs.完整性

对于那些有科研基础的机构而言，大数据安全不仅仅是一个保密问题。数据的长期完整性也是企业更大的担忧。这是IT界一直为之努力的议题。有时候，我们过分关注结果而忽视了安全。人们有时会问：‘我们最终都要和公众分享这一数据，那安全有什么重要呢?’

这一问题的最佳答案来自科研机构，如NOAA。他们收集的基准数据正巧是美国气候变化政策备受争议所在。不管这些政策的政治倾向性如何，它们都对经济有重大影响。如果我们放弃了这些长期气候记录数据的安全性，那将造成严重后果。我们的确得好好想想大数据的问题。

制定基准线

由于很少存在类似的应用程序，难以获取相关信息或进行比照，因此有时候很难评定大数据以及其他高科技项目的开支和风险。出台开支和风险的基线，对大数据和数据中心来说都是一大挑战，因为还没有相关标准。操作一些简单事情有时候充满挑战，如计算数据中心的能耗。大数据基线不仅在基础设施层面，还包括数据包，都需要对未来资源进行更优规划。

LogLogic的CMO Mandeep Khera表示，企业中的大多数CIO都在关注大数据，但他们不明白这是什么意思，对于如此之多的大数据来说，有没有明确的定义，每个人都感到困惑。

IT安全研究顾问与LogLogic一起进行了一项新的调查发现，49%的组织都非常关注有关管理大数据的话题，但38%的受调查者不明白什么是大数据，另有27%的人说他们的理解较片面。此外，调查还发现，59%的企业缺乏管理他们IT系统数据所需的工具，而是转向独立和不同的系统或电子表格。

“我们知道，数据是由很多不同的内容构成，并且很重要，包括安全性、IT运营、合规性等。”Khera说：“公司需要更有效地管理数据，使决策者能够做出更明智的决策。”

“非结构化的大数据有许多TB。”Khera解释说：“信息就是力量，大数据，如果管理得当，可以提供安全、运营等问题的强大处理洞察力，以帮助各种规模的组织企业和云基础设施，提供各种来源收集更多的数据。但许多机构没有正确使用这些工具和流程来管理数据，如果这一模式继续下去，我们将看到企业进一步的失败，并且无法获得有效的可操作数据，影响企业的明智决定。

根据大部分受访者的调查，62%的人表示，他们已经管理了多个TB的数据。但更多的是担心未来大数据的处理问题。目前，世界上的数据量正在以近乎难以理解的速度在增加。IBM发布过信息，他们每天创造数以万个字节的数据。根据蓝色巨人的统计，这个增长量颇为惊人，包括来自传感器、交易记录、图像、视频、社交媒体、日志和其他来源的各种数据。

但是，如果你没有工具来管理和执行这些大数据，并分析出其中的有效信息，这些本质上就是不断增长的垃圾。

khera说：“控制大数据的关键之一是巩固和集中来自全国各地从Web应用程序、中间件、定制的后端应用程序和数据库索引存储库，以及通用的用户界面、组织，包括日志记录的日志管理等操作。为了使数据的处理趋于正常化，具备关联、汇报和发送可操作的警报的能力，本月早些时候，LogLogic委托专家恩斯，成立网络安全应用研究所，进行关于信息安全的分析及从法规上开展日志数据的管理(ISIA)。

通过对LogLogic客户展开处理大数据问题的采访后，恩斯表示，大数据日志管理的主要区别是规模庞大的日志信息的数量。但重新梳理事件后，其实是一件很简单的事情。如果只有几个设备，想象跨越数千台服务器，并通过PB的数据，而无需一个易于使用的用户界面或索引存储库，如何快速反应。大数据，不仅是大小，但也要考虑速度的特点。通过大规模搜索数据量需要时间。如果它是不正确的索引，如果未经授权的访问或其他活动有关的关键信息不可用，因为它没有被索引，所以大数据的搜索结果将是不确定的。因此如果索引时间太长，关键的警报消息延迟会造成不可接受的延迟响应时间。

现在，虽然只有54%的受访者表示，他们使用日志管理解决方案来管理其日志数据。许多还是使用系统日志和电子表格来管理自己的日志。调查还显示，有33%的人什么也不做。

结果表明：在实践中，大数据的管理变得十分不一致。大数据、云需要符合客观认知的管理操作，而大多数公司都没有准备好其中的任何一块处理意见。就像迷人的雕像看到了裂痕一样，大多数受访企业没有有效监控云环境或报告网络与设备的正常活动，这不是大数据正确的使用方法。因此，明细大数据时代的管理方式及思维，将变得十分重要。