数据湖架构与大数据生命周期

数据湖已经成为企业应用大数据的重要工具，它可以容纳大量原始数据存储库和处理系统，有一个中心化的存储，所有的数据以它本来的形式集中存储，是一种经济有效地存储所有数据的方式。它可以更好地支撑数据预测分析、跨领域分析、主动分析、实时分析，以及多元化、结构化数据分析，可以加速数据到价值的实现过程，提升应用能力和业务增值能力。

传统的数据IDC模式面临挑战有：

第一，数据仓库模式导致的烟囱式建设与数据需跨业务线广泛和不同协议接口的连接之间的挑战；

第二，传统数据库不能应对数据的增长，数据 ETL、数据建模工作的响应速度与数据反哺业务迭代创新之间的挑战；

第三，数据赋能与业务场景探索脱节的挑战。

大数据管理说到底还是为企业服务，数据管理从两个视角：

● 第一，从企业应用系统的视角来看，系统间的数据整合及维护费用达到最小化，提高跨系统间数据存贮和共享的效率；

● 第二，从企业数据资产管理的角度来看，对整个数据生命周期中数据进行处理、存贮、转换、整合，以及支持这些策略、模型、流程。

从而提出基于从数据全生命周期的全空间坐标，从数据的业务流程、数据的用户体验、数据的增值服务三个维度来考量数据生命周期的管理空间。

（数字价值空间）

第一，业务流程维度，实现了对大数据平台的数据全生命周期、全流程的数据治理，主要包括数据资产管理、元数据管理、数据开发流程管理、数据质量管理、数据安全共享管理。

第二，数字经济下的用户体验维度，实现了基于元数据全方位画像的数据资产管理，数据全生命周期的管理与监控，全流程记录的追本溯源，全景式的资产可视化，以及提供了数据资产全场景视图，满足了不同用户的应用场景的需求，既有全局规划的管理者，也有细节定义的使用者，还有加工、运维的开发者，进而提供多层次的图形化展示，满足应用场景的图形查询和辅助分析，对工业数据质量进行建模或者模型学习，可实时预警数据质量问题。

第三，基于数据产品生命周期的增值服务端的维度，提供了经济有效的方式来存储组织的所有数据，低延迟实时数据处理，支持基于内容的检索，可横向线性扩展，内置支持各种并行化数据分析算法，构建工业边界安全，传输通信安全和边缘计算终端安全的防护体系，支持工业数据标准度量指标库和分布式计算组件，并支持大规模数据纠错等服务。

结语

以目前的实践和探索来看，有四种模式可以应用于大数据管理下，结合用户体验的数据增值服务的商业模式：基于传统数据系统集成模式的项目模式、基于软件订阅模式的服务收费模式、基于用户体验的服务分享模式、基于共享未来成长的生态协作模式。

无论哪一种模式都必须围绕数据赋能和价值的角度，必须从用户的需求和符合现场工艺需求的角度来考量，而数字孪生的核心正在于此。

工业4.0 时代的到来，大数据管理是技术+管理+治理的过程，是从烟囱式的IT架构， 真正走向以数据为核心，数据资产管理的全新理念和实践过程。数字经济时代，大数据管理不仅仅是数据存储架构的变革，更是大数据思维方式的转变升级。用好数据是企业数字化转型的关键，基于IOT架构的“边缘+数据+应用”模式是大数据管理，更是数字增值服务的新趋势。没有捷径，也不是老旧系统的补丁，更不是原来不同层级系统的集合，面对新的时代，从数据出发，以价值为导向，来自企业回归企业，唯天下之至诚能胜天下之至伪，唯天下之至拙能胜天下之至巧。

文章来自网络，版权归作者所有，如有侵权请联系删除

“感谢冠卓咨询老师对项目组的全程辅导，通过做项目我们学会了如何用系统科学的方法分析研究问题；开阔了我们的视野并让我们的管理人员明白了团队协作的重要性。”

———北京某公司总经理 苏先生