首页 > 动态中心 > 行业动态  >  正文

数据治理:走出数据孤岛!

2022-08-04 07:30:46

文章摘要:来源:数据学堂编辑:谈数据全文共 3568 个字,建议阅读 8 分钟数据已成为数字经济的重要生产要素,这意味着,整合更多数据、拥有更强的数据分析和处理能力,以数据资产化、数据服务化、数据知识化驱动业务,将是组织获得核心竞争力的关键。然而,在构建数据驱动型组织的道路上,数据孤岛已成为释放数据价值的关键障碍,主要表现在数据整合与治理、组织运营、数字创新等各个层面。01 “数据孤岛”是什么?企业发展到一

数据治理:走出数据孤岛!(图1)

来源:数据学堂

编辑:谈数据

全文共 3568 个字,建议阅读 分钟

数据已成为数字经济的重要生产要素,这意味着,整合更多数据、拥有更强的数据分析和处理能力,以数据资产化、数据服务化、数据知识化驱动业务,将是组织获得核心竞争力的关键。


然而,在构建数据驱动型组织的道路上,数据孤岛已成为释放数据价值的关键障碍,主要表现在数据整合与治理、组织运营、数字创新等各个层面。


01 “数据孤岛”是什么?


企业发展到一定阶段,必然会跟随时代发展进行信息化建设。而信息化建设的不平衡,催生了“数据孤岛”现象的产生。

企业内部通常存在多个事业部,每个事业部都有各自的数据,事业部之间的数据往往都各自存储,各自定义,形成不同的子系统。而子系统之间并未建立有效的数据交换服务,各业务系统数据描述标准不一,造成严重的数据不一致。各个子系统内所存储占有的数据,就像一个个孤岛,难以和企业内部的其他数据进行连接互动。

这样的情况就被称为“数据孤岛”现象。简单来说,就是企业内部的数据间缺乏关联性,彼此无法兼容。

组织中一切活动都会产生数据,但这些海量的数据由于组织战略、架构设置、数字化建设等原因,分散存储在组织的各个部门、业务系统、应用之中,彼此无法互联互通、共享,也无法被利用,形成了一个又一个孤立的数据岛屿。

数据治理:走出数据孤岛!(图2)


数据孤岛作为数字化转型的负面产物,已成为一种普遍现象,Forrester调研发现,82%的企业都受到数据孤岛的阻碍。

02 “数据孤岛”的危害
企业内不同部门数据的“各自为政”,大大制约着企业管理和业务的顺畅开展:

1、数据重复:由于数据流通不畅,企业各部门在收集数据时会产生重复行为,造成了数据的重复、冗余、无效等情况,降低了数据的质量和准确度。

2、错误决策:数据的不准确、不及时,往往导致企业决策错误或决策迟缓,从而影响企业的口碑和在市场中的竞争地位。

3、协作不良:企业内部数据孤岛现象的显著,会在很大程度上使得企业各个部门、团队之间,因难以获取工作需要的数据,而关系紧张、协作不良。

4、效率低下:由于不同部门对数据的理解和定义不同,企业内部的沟通成本上升。同时,各部门对数据的重复管理,造成了时间和金钱的浪费、工作效率的低下。

5、客户体验差:企业内各部门拥有的数据不一,容易造成客户端到端的体验混杂,总体评价低。


03 为何会产生“数据孤岛”现象?

1、以功能为标准的部门划分导致数据孤岛。企业各部门之间相对独立,数据各自保管存储,对数据的认知角度也截然不同,最终导致数据之间难以互通,形成孤岛。也因此集团化的企业更容易产生数据孤岛的现象。

2、缺少企业内信息化建设的战略和标准,如果不能做到信息系统建设的统一,由不同部门,不同公司来建设的话,必须有一个标准能够使得日后的互通比较容易实现。

3、不同类型、不同版本的信息化管理系统导致数据孤岛。人事部门用OA系统,生产部门用ERP系统,销售部门用CRM系统,甚至一个人事部门使用一家考勤软件的同时,却在同时使用另一家的报销软件,后果就是一家企业的数据互通越来越难。


04 企业如何走出数据孤岛?

关于事物各个部分之间的关系对整体发展的影响,哲学上也曾给出过确定的解答:“当事物的各部分以有序、合理、优化的结构形成整体时,整体的功能将大于各部分功能之和;当各部分以无序、欠佳的结构形成整体时,各部分原有的性能得不到发挥,力量削弱、甚至相互抵消,使整体功能小于各部分之和。”

因此,从长久发展来看,企业应该彻底解决数据孤岛现象,让各部门的信息数据以合理有序的方式相互连通影响,从而推动企业的发展进步。

为了解决数据孤岛的问题,企业进行了很多尝试。很多企业开始有意识地通过调整数据交换架构来改善数据质量,以打破“数据孤岛”、实现业务系统间数据的顺畅流动。

然而,实践表明,企业网状的数据交换架构和以主数据治理(管理)平台为中心的数据交换架构都无法彻底地解决数据孤岛问题。企业需要既能解决数据的交互流动,又能控制数据质量,并且是控制全部静态数据(主数据+业务场景数据等)的质量的解决方案。

经过多年的实践研究发现,基于静态数据中心的数据交换架构,可以实现这一诉求。构建基于静态数据中心的数据治理平台,并以其为中心构建雪花状数据交换架构,如图1所示:
数据治理:走出数据孤岛!(图3)

该架构的核心是企业基于数据治理平台的静态数据中心,企业所有业务系统的数据流动都要经过该中心的中转,数据从各业务系统采集过来然后分发出去,同时该静态数据中心对经其中转的数据会进行规范化和标准化,确保数据质量,实现数据从源头到目标消费系统的真正流动,从根本上彻底打通企业内的数据孤岛。

该架构中的静态数据中心对静态数据的全方位管理可以很好地规避主数据动态性的问题,并且可以通过静态数据中心实现由企业顶层通览全局静态数据。

该架构对数据质量的控制非常全面,静态数据中心对静态数据的全方位管理可以解决包含主数据及业务场景数据的质量问题。

该架构能够提供多种技术形式的数据交换接口,通过即插即用的方式可以随时挂接新的业务系统,实现新的数据交互和流动。

另外,数据的源头(指数据最初的产生地点,一般指某业务系统)是数据流动的起点,也是数据交换架构的核心点,针对数据的源头的选择更是打通数据孤岛的关键点,也决定了整个数据交换架构的布局。

为了更好地诠释该数据交换架构针对企业数据管理的适用性,下面具体说明一下不同类型数据源头的位置:物资数据的源头一定是静态数据中心(数据治理平台);客户数据的源头可以是CRM(如有)也可以是静态数据中心(数据治理平台),供应商数据的源头可以是SRM(如有)也可以是静态数据中心(数据治理平台)等,具体原因如表1所示。

数据治理:走出数据孤岛!(图4)


05 基于数据中台的数据孤岛解决方案
部门A为了解决一些大数据问题,采购了厂商X的大数据解决方案,安装了一个大数据平台,导入自己的数据并开发了一些大数据应用,运行得挺不错。这个时候,部门B也需要解决一些大数据问题,于是试图采购厂商Y提供的大数据解决方案,但Y的大数据平台和X的有一些版本、组件上的差异,所以需要对X的大数据平台进行改造。
问题是,这个任务由谁来完成,由谁负责改造后的大数据平台的运维?有可能厂商Y的大数据应用也需要做些改造,这可行吗?部门A的应用已经运行得很好了,部门B的应用会不会对部门A的应用造成影响(包括性能和数据安全的影响)?如果影响了,谁来负责?比较简单且快速见效的方法是直接安装厂商Y提供的端到端的解决方案。照此下去,每个解决方案都会安装一个新的大数据系统。
还有一个问题是,厂商X和厂商Y底层的数据结构可能不是对外公开的,因而它们各自解决自己的问题,虽然开始互不干扰,但是后来就造成了数据孤岛和烟囱。这个时候,由于各个子系统的数据标准不一、数据格式不同,各部门之间数据无法互联互通,很难根据数据做出全局决策。
解决上面的问题,正是数据中台方法论和架构的任务。TotalPlatform保证所有数据应用的统一管理,OneID、OneModel确保各子系统中数据的互联互通,OneService负责数据能力的共享,TotalInsight确保全局数据运营的高效和价值量化。


1)全局的数据治理

必须有全局的数据治理系统来管理所有子系统的数据,确保它们能互联互通。例如,OneID要求所有关于用户的数据都必须使用同一个ID,OneModel要求所有数据仓库的模型都必须符合同样的标准。


但是这里要指出,解决数据孤岛和应用孤岛的问题,除了技术方案以外,明确责权利也很重要。出现孤岛的原因之一就是各部门的责权利不明晰。如何在使用数据中台解决孤岛问题的同时保证责权利的明晰,是一个非常重要的问题,我们将在第6章中详细描述。


2)数据能力的复用和共享
在进行全局的数据治理的同时,治理的结果必须能为公司创造价值。这个时候就类似于OneService的功能,既要求能进行全局的数据能力的复用和共享,也需要类似TotalInsight的功能,管理全局的数据资产,量化数据能力的投入产出。主要的工作如下:
  • 建立数据能力共享的责权利机制;

  • 提供全局的数据能力目录和访问机制;

  • 提供数据能力共享的工具、机制和流程;

  • 对共享的数据能力的管控和审计;

  • 确保共享的数据能力的高效运行。


3)云原生架构的支撑
在这个阶段随着业务的不断增长,越来越多的应用程序被添加到大数据系统中。先有Spark、Kafka,后有Flink、TensorFlow,现在又有各种新的大数据和人工智能组件。


这些就是在云基础架构上运行大数据系统的根本原因。而云平台为分析工作负载和一般工作负载提供了极大支持,并提供了云计算技术的所有好处:易于配置和部署、弹性扩展、资源隔离、高资源利用率、高弹性、自动恢复。


在云计算环境中运行大数据系统的另一个原因是大数据工具的发展。传统的分布式系统(如MySQL集群、Hadoop和MongoDB集群)倾向于处理自己的资源管理和分布式协调,但是现在由于Kubernetes、Mesos、YARN等分布式资源管理器和调度程序的出现,越来越多的分布式系统(如Spark)将依赖底层分布式框架来提供这些资源分配和程序协调调度的分布式操作原语。在这样的统一框架中运行它们将大大降低复杂性并提高运行效率,如下图所示。


数据治理:走出数据孤岛!(图5)


写在最后的话

数据孤岛是企业中与企业的其他部分隔离且无法访问的数据集合,走出数据孤岛可以帮助企业在正确的时间获取正确的数据以便辅助企业做出正确的决策,解决企业数据的不一致问题,提升沟通效率,并帮助企业降低重复数据的存储问题来节约成本。

如何走出数据孤岛?不同的时期,不同的场景可能需要不同的解决方案,您可以选择基于痛点需求的数据集成融合方案,也可以选择大而全的数据中台方案,具体怎么选,需要结合企业的需求,没有最好的只有更合适的。


上一篇 : 分类分级是数据安全的必由之路!
  • 相关推荐
  • 企业防范数据泄露手段有哪些?企业必备七项防护措施

    在当今信息化社会,数据已成为企业的核心资产。然而,数据泄露事件频发,给企业带来了严重的经济损失和声誉损害。为了有效防范数据泄露,企业必须采取一系列防护措施。本文将介绍七项企业必备的防护措施,从技术手段到管理层面,全方位守护企业的数据安全,确保企业信息资产的安全无虞。1、 数据加密(洞察眼MIT系统)透明加密:确保数据在...

    2024-10-19 10:03:02
  • 企业数据安全新解:透明加密VS半透明加密VS智能化加密

    洞察眼MIT系统的文件加密概述该系统是一款功能强大的企业级文件加密及防泄密软件,采用了先进的加密技术和安全策略,能够对企业的重要数据进行全面、深入的保护。无论是存储在本地计算机上的文件,还是通过网络传输的数据,都能提供有效的加密保护,确保数据在传输和存储过程中的安全。1、透明加密加密方式:透明加密是一种强制加密技术,通...

    2024-10-19 08:49:58
  • 电脑文件加密必备!2024精选十款加密软件,保护数据安全

    在数字化时代,数据安全已成为不可忽视的重要议题。为了守护您宝贵的文件信息,我们精心挑选了十款2024年的电脑文件加密软件。这些软件各具特色,采用先进的加密技术,确保您的数据在存储和传输过程中的安全性。无论是个人用户还是企业用户,都能在这些软件中找到适合自己的加密解决方案,让数据安全无忧,尽享数字生活的便捷与安心。1、洞...

    2024-10-18 14:55:23
  • 图纸加密软件推荐|2024年8款CAD加密软件推荐

    在数字化时代,图纸作为设计与创新的重要载体,其安全性日益凸显。2024年,随着技术的不断进步,CAD图纸加密软件成为守护创意与知识产权的坚实盾牌。本文将为您精选8款优秀的CAD加密软件,它们各具特色,以强大的加密技术、灵活的权限管理、便捷的操作体验,共同构筑起图纸安全的铜墙铁壁。让我们一同探索,为图纸安全保驾护航。1、...

    2024-10-18 10:26:53
  • 加密软件有哪些?精选六款加密软件,让企业数据更安全!

    在数字化时代,企业数据的安全至关重要。为了保障企业信息的机密性和完整性,选择一款合适的加密软件显得尤为重要。本文精选了六款加密软件,它们各具特色,功能强大,能够为企业提供全方位的数据加密保护。这些软件都能确保企业数据在传输和存储过程中的安全,助力企业构建坚不可摧的数据安全防线。1、洞察眼MIT系统采用先进的加密算法,能...

    2024-10-17 10:50:10
  • 数据怎么加密?2024年五款企业数据加密必备软件

    在数字化时代,数据安全已成为企业不可忽视的核心议题。为了确保敏感信息不被泄露,数据加密成为了企业保护资产的重要手段。2024年,市场上涌现了众多优秀的企业数据加密软件。本文将为您精选五款必备的数据加密软件,它们各具特色,能够为企业数据提供全面而高效的保护。让我们一起探索这些加密利器,共同守护企业的数字资产安全。1、洞察...

    2024-10-17 09:51:22
  • 软件界大PK!年度精选!2024数据防泄密软件前十强

    在数字时代,数据的安全与保密成为了企业生存的命脉。2024年,众多数据防泄密软件如雨后春笋般涌现,它们各自施展绝技,为企业的信息安全保驾护航。本篇将精选出年度前十强数据防泄密软件,它们凭借卓越的性能、智能的防护和便捷的操作,赢得了市场的广泛认可。让我们一同走进这场软件界的大PK,见证数据防泄密技术的最新成果!1、洞察眼...

    2024-10-17 09:49:40
  • 企业防范数据泄露方法有哪些?八个实用防泄密方法

    在数字化时代,企业数据如同生命之源,其安全关乎企业的生死存亡。面对日益严峻的数据泄露风险,企业必须筑起坚实的防线。以下八个实用防泄密方法,旨在为企业提供一套全面、高效的数据保护策略,确保企业数据在存储、传输、处理等各个环节中的安全性,助力企业稳健前行,在激烈的市场竞争中立于不败之地。1、使用专业软件—洞察眼MIT系统透...

    2024-10-15 14:00:13
  • u盘加密软件哪个好用?2024年9款顶级U盘加密软件大盘点

    在数据保护日益重要的今天,U盘加密软件成为了我们保护敏感信息的得力助手。2024年,市场上涌现出了众多优秀的U盘加密软件,它们各具特色,功能强大。本文精选了9款顶级U盘加密软件进行大盘点,旨在帮助读者找到最适合自己的加密工具。让我们一同探索这些宝藏级的U盘加密软件,为数据安全保驾护航!1、洞察眼MIT系统主要特点:不仅...

    2024-10-15 10:25:54
  • 如何给U盘加密?U盘加密必备五招,保护U盘数据

    在数据泄露风险日益加剧的今天,U盘作为便携的数据存储工具,其安全性显得尤为重要。如何给U盘加密,确保数据在传输和存储过程中的安全,成为每个人都需要掌握的技能。以下五招U盘加密必备技巧,将帮助您轻松提升U盘数据的安全性,让您的数据隐私得到更有效的保护。让我们一同学习,为数据安全保驾护航。方法一:使用专业软件(洞察眼MIT...

    2024-10-15 09:45:43

大家都在搜的词:

微信扫一扫联系售前工程师