Informatica:数据治理,不仅仅是技术问题

服务器
经常能看到这样的现象:企业中几个部门的主管在汇报工作时,同一指标的数据不尽相同,甚至可能截然相反,到底哪个数据是正确的数据?无从确认。造成这种现象的原因很多,比如数据质量问题、统计口径问题,等等。Informatica曾经与IDC一起对中国企业的数据状况作了调查,调查对象涉及多个行业,包括银行、保险、证券、电信、烟草、制造、政府等等,调查发展,企业用户或多或少都存在数据问题,主要包括数据重复、数据不完整、数据不准确。造成这种现象有主要原因是这些数据可能来自不同的核心系统或是外部数据,它们可能对同一对象有不同的

在很多企业,每个业务规则都可能生成一个新IT方案,每个新IT方案创建一个新的IT项目,每个IT项目均需要数据——访问数据、迁移和整合数据,同时要确保这些数据是可信的,所有这些,都会引发新的数据集成问题。

企业业务的成功,需要及时、完整和准确的数据提供支持。这正是IT能够而且是必需应对的环节。面对日益激烈的竞争环境,企业机构需要其IT机构能够随时按要求提供业务所需的数据。

但是,数据往往分散于企业不同系统中——应用程序、数据库、桌面上的PDF、Excel电子数据表和 Word文档中,也可能存储在公司防火墙之外——在与软件即服务(SaaS)和业务流程外包 (BPO) 供应商以及与贸易合作伙伴的应用“云”中。如何确保能够为重要业务提供及时、相关和可信的数据?数据治理是必要环节。

不久前,记者参加了领先的企业数据集成软件独立供应商Informatica公司举行的研讨会,与Informatica中国区高级技术顾问姜炜先生和***产品顾问但彬先生深入交流了有关数据治理的内容。

[[52015]] 
Informatica公司中国区高级技术顾问 姜炜

数据乱象的困惑

姜炜介绍说:经常能看到这样的现象,企业中几个部门的主管在汇报工作时,同一指标的数据不尽相同,甚至可能截然相反,到底哪个数据是正确的数据?无从确认。造成这种现象的原因很多,比如数据质量问题、统计口径问题,等等。

Informatica曾经与IDC一起对中国企业的数据状况作了调查,调查对象涉及多个行业,包括银行、保险、证券、电信、烟草、制造、政府等等,调查发展,企业用户或多或少都存在数据问题,主要包括数据重复、数据不完整、数据不准确。造成这种现象有主要原因是这些数据可能来自不同的核心系统或是外部数据,它们可能对同一对象有不同的描述,用不同的数据表示,从而难以确认哪个数据是正确的,导致数据很难利用。

在调查中发现,对于数据集成相关项目在建设过程中***的困难,“业务需求不明确”名列前茅,占到45%;“数据质量问题”位居第二,占21%;第三是“无法清晰计算投资回报率”,占12%。

数据乱象解决之道:全面的数据治理

对于各种数据问题,企业机构有效的解决方案加以解决,这就涉及到数据治理的问题。事实上,数据治理涵盖于企业的整个信息化建设过程,它涉及每个系统,包括所有业务核心系统、数据仓库、ECIF、风险管理、合规支持等等,它需要一个统一的管理平台进行管理,而这个平台各种数据技术,包括元数据管理、数据标准管理,以及主数据管理平台、数据质量管理平台和数据服务平台。无论是对数据进行集成、整合、交换、还是同步,它们都在数据治理这个范畴内。

 

其中,一个比较“软”的方面就是数据标准管理,是很重要的一个环节,根据这个标准,通过相应的数据技术,对所有数据实现到端对端的梳理和管理,这就是整个数据治理的过程。
 

什么是数据治理?

数据治理是一种体系,是一个关注于信息系统执行层面的体系,这一体系的目的是整合IT与业务部门的知识和意见,通过将流程、策略、标准和组织的有效组合,对企业的信息化建设进行全方位的监管,需要企业高层的授权和业务部门与IT部门的密切协作。

数据治理涵盖了整个企业的信息化立场和建设,包括所有核心业务系统、运营数据储存或数据仓库、ECIF、风险控制以及很多其他的系统,需要技术和“软内容”平台提供支撑,包括主数据管理平台、数据质量管理平台、数据服务平台,以及元数据管理和数据标准管理,最终实现所有数据的全方位监管,实现端到端的数据梳理和管理,确保数据的有效性、可访问性、高质量、一致性、可审计和安全性,这是数据治理的目标所在。

数据治理的主要驱动力是什么?据调查,企业进行数据治理的***驱动力来自数据质量,企业机构希望通过提高数据质量实现更多的业务价值;其次是数据仓库/商业智能项目,第三是合规性要求。

实际上,很多企业都在涉及数据治理相关的项目,只是可能以其它项目的形式出现,比如数据集成、ETL、元数据等项目,这些都是数据治理的组成部分。在调查中发现,现在企业做数据治理,更多关注的是数据质量分析、评估和探查,其次是ETL和其它数据集成工具,以及数据模型。

数据治理管理框架 

数据治理项目包括四个关键要素:策略和流程、组织、标准和定义、技术。这四个方面缺一不可。在“组织”这个要素中,包含了集成开发人员、数据质量分析员、业务分析人员和数据管理员这些角色。数据治理角色及工作流程如图:

Informatica数据治理技术平台

企业开展数据治理,在理顺数据治理管理框架之后,技术和方案的选择就至关重要了。数据治理的相关技术包括企业数据集成、元数据管理、数据质量、实时数据和非结构化数据采集。Informatica作为全球领先的企业数据集成提供商,提供了领先的数据集成平台,通过这个平台,支持所有数据类型的项目。

 
 
借助Informatica数据集成平台,企业用户能够实现广泛的数据连接,包括结构化、半结构化、非结构化的数据连接,这点非常重要,数据的广泛连接性是数据治理的重要基础。

 
Informatica数据治理技术平台

Informatica 提供一个统一的数据治理平台,主要功能包括:

· 数据发现和探查:找到隐藏的、对可信数据的治理造成风险的数据问题
· 主数据管理 (MDM):利用 MDM 进行数据管理,以建立单个权威性的客户、产品或任何其它数据域视图
· 数据沿袭和主动数据质量监控:作为数据治理的一部分,保证在整个企业中可对数据问题进行跟踪,同时保证长期满足数据质量预期

借助 Informatica 支持各项数据治理方案的综合平台和服务,您的 IT 组织能够优化企业数据的价值,从而最终实现企业数据价值的***化。

Informatica Data Explorer:完整、准确地掌握企业数据

Informatica Data Explorer提供了增强的数据发现和探查功能,通过强大的数据探查、数据映射能力和***的易用性的***组合,帮助企业用户轻松发现、监控数据质量问题,降低项目风险。利用 Informatica Data Explorer,业务分析师和数据管理员可以使用专为其设计的基于浏览器的工具,轻松地自行探查数据和持续监控数据问题;IT 开发人员可以使用预建的规则和单个统一开发环境自动发现和分析数据,从而在各项目中重复使用数据探查结果,提高工作效率并消除错误。

Informatica Data Quality:摆脱糟糕数据的困扰

Informatica Data Quality 利用基于服务的体系架构,为支持所有应用程序构建、测试和部署数据质量服务。它以经过实践证明的数据集成连通性为基础,能够按任何延迟性或模式(如联合 SQL、网络服务、短信、基于事件的示警和 ETL)在任何数据源中轻松地访问和清洗任何数据——在企业内部、合作伙伴的系统中或云中,帮助企业识别、解决和预防数据质量问题,确保企业数据的权威性和可信度。

Informatica Data Quality具有强大的数据分析、清洗、匹配、报告、监控能力和良好的易用性,基于角色设计,允许用户在全球各地、跨任何语种地轻松清洗、验证和匹配客户数据。

Informatica PowerCenter:综合、统一的企业数据集成平台

Informatica PowerCenter作为一个综合、统一的企业数据集成平台,凭借强大的性能和高度可扩展性,使企业机构可以从几乎所有业务系统中高效地访问、探查并集成任意格式的数据,从而成为所有数据集成项目和企业集成方案的核心基础。

Informatica PowerCenter提供了统一数据访问功能,让用户访问几乎所有的企业数据类型,其中包括结构化、非结构化和半结构化数据;关系、大型机、文件和基于标准的数据;消息队列数据。

PowerCenter 提供的功能旨在满足各个开发人员、质量保证专员、生产管理员和全球IT 团队的需求,能让全球开发团队和跨职能 IT 及业务分析师团队能够有效地展开协作。这些功能包括:

· 由元数据驱动的灵活架构,它规范了定义,并在平台和项目内反复利用定义,无需重新编码;
· 用于进行管理和开发的一系列功能强大的可视工具和用于促进架构师、分析师和开发人员之间流畅协作的功能丰富的高效工具;
· 基于团队的开发功能,它可以控制整个环境、位置和团队的部署并使其自动化,以便加速开发进程、简化管理并降低持续维护成本;
· 元数据管理和业务术语表可将技术元数据和业务元数据整合到一个数据集成目录中,深化对复杂数据关系的认识并增强对促进战略性业务决策的数据的信任。

Informatica MDM:掌控数据即掌控业务

Informatica主数据管理 (MDM) 支持使用统一的平台管理所有类型(客户、产品、渠道等)的主数据,提供多域(Multi-Domain)主数据的整合,它全程支持主数据生命周期的9个步骤,即访问、发现、建模、清理、识别、解决、关联、治理和交付,通过支持使用统一的平台管理所有类型的主数据,提供多域主数据的整合,提供可靠、完整的核心业务数据,帮助企业机构改善业务运营、更快实现价值、降低总拥有成本。

责任编辑:常疆 来源: 51CTO.com
相关推荐

2010-03-03 11:39:18

2020-12-16 09:27:05

数据湖大数据数据

2020-01-15 06:00:52

物联网IOT大数据

2013-07-04 15:22:46

华为WLAN接入

2009-10-19 10:50:20

内部云

2020-01-16 08:20:44

数据隐私机密性数据安全

2013-12-18 12:45:59

2015-12-01 14:26:57

2012-11-06 16:53:55

欧朋Opera浏览器

2013-08-22 11:27:32

云服务云存储

2022-10-11 16:35:34

加密货币区块链代币

2022-08-31 10:14:00

JavaScript网络异步性

2012-05-11 16:46:00

激光打印机推荐

2019-07-18 15:21:40

Linux容器IT

2019-01-09 09:13:40

2010-03-23 10:59:14

2020-08-24 19:00:20

国产操作系统操作系统

2018-07-06 05:03:13

2016-04-11 09:18:22

OpenStack/华

2021-06-28 15:07:18

网络攻击智能网络安全
点赞
收藏

51CTO技术栈公众号