球盟会官网新闻中心

球盟会,AI数据治理行业研究:挖掘数据的管理价值

2025-02-27
浏览次数:
返回列表

  导语:在数字化转型中,数据资源成为企业决策和创新的核心驱动力。随着大数据、云计算等技术进步,数据处理能力大幅提升。但数据量增长带来了管理球盟会,、质量和价值提升的挑战。为此,数据治理,包括管理和价值变现,变得至关重要。

  数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理就是实现数据价值的过程,将企业的数据由从不可控、不可用、不好用到可控、方便易用能够实现对于企业业务发展的支撑。

  数据治理的过程是指通过采集、传输、储存等一系列标准化流程将原本零散的数据变成格式规范、结构统一的数据,同时对其进行严格规范的综合数据监控,保证数据质量;然后对这些标准化的数据进行进一步的加工分析,形成具有指导意义的业务监控报表、业务监控模型等,来帮助企业进行辅助决策。

  起步阶段(20世纪80年代到2003年):20世纪80年代,随着数据库技术的发展,企业开始意识到数据的重要性。但当时数据管理主要依靠数据库管理系统,直到1988年由麻省理工学院的两位教授启动了全面数据质量管理计划(TDQM ),被认为是数据治理最初的雏形,同年,DAMA( 国际数据管理组织协会)成立。2002年,数据治理概念首次出现在学术界,美国两位学者发表题为《数据仓库治理》的研究探讨了Blue Cross 和 Blue Shield of North Carolina 两家公司的最佳实践,由此拉开了“数据治理”在企业管理中的大幕。

  理论研究阶段(2003-2009年):随着互联网和大数据的发展,数据量呈现出爆炸性增长的态势。这一趋势促使国际组织将数据管理问题提上了议事日程。2003年,国际数据治理研究所(DGI)应运而生,致力于研究和构建数据治理的理论框架,并与ISO国际标准化组织携手,共同对数据管理与数据治理的概念进行了界定。历经数年的努力,直至2009年,国际数据管理协会(DAMA国际)发布了《数据管理知识体系指南》(简称“DMBOK”),这标志着数据治理的理论框架已经基本确立并趋于稳定。

  推广应用阶段(2010-2015年):随着对数据治理理论的不断探索与深化,该领域逐渐步入企业实践与广泛应用的崭新阶段。2011年,权威研究机构Gartner将数据治理列为信息技术领域的十大前沿趋势之一,标志着其重要性的显著提升。在此背景下,众多跨国企业纷纷响应,通过建立独立的数据治理部门来强化数据管理。以全球科技巨头微软为例,微软在2011年成立了数据治理办公室,致力于QMH球盟会app,实施数据治理革新。通过推行数据标准化、强化数据质量控制等一系列有效措施,微软显著提升了其内部数据的可靠性和准确性,为后续的数据驱动型转型奠定了坚实的基础。

  成熟运营阶段(2015年至今):伴随着数据仓库的建设,主数据管理与商务智能平台的实施,国内也逐步开始接受并利用数据治理的概念进行推广实践。进入21世纪后期,数据治理在更多行业和领域得到广泛应用。以互联网行业为例,阿里巴巴成立数据治理委员会,对全球各业务线数据进行监管;京东成立数据管理中心,推行全面的数据管理体系等。中国在DMBOK基础上发展数据治理,2015年发布《数据治理白皮书》,2018年形成国家标准《数据管理能力成熟度评估模型》(GB/T36073—2018),明确8个领域、5个等级的能力模型,指导企业评估。2022年发布《数据管理能力成熟度评估方法》(GB/T42129-2022),2023年7月实施。随着新技术兴起,中小企业也开始重视数据治理,提升数据治理水平成为企业数字化转型的重要环节。

  数据治理始于数据源的整合,随后对数据进行清洗与精炼,并在数据存储、计算及服务于应用的过程中持续提供管理支持,这一流程对于推动企业实现数据的有效服务与应用至关重要。从数据的生命周期视角审视,数据经历着从产生到废弃的完整过程,而数据治理正是通过运用适当的工具和方法论,在这一周期的各个阶段对数据进行规范与界定。此举在企业内部构建了一个高效的数据循环体系,确保了数据能够释放出更大的潜能与价值。

  以华为为例,华为业务的数据清洗到治理的过程大致如下,首先华为组建了一支专业的数据治理团队,该团队负责策划与制定数据治理的战略,监督数据治理执行的进程。其次,华为构建了一套全面的数据安全管理制度和技术防护体系,确保企业的数据安全可控。此外,为提升数据质量与可用性,华为还制定了统一的数据标准与规范,对数据实施了系统的清洗与整合。最终,通过搭建数据共享平台,促进了公司内部各部门间的数据流通与合作,增强业务运作的效率。

  数据治理的目标是为了将企业日常经营管理过程中的数据转变为可知、可用、可管,为企业的业务发展奠定基础。数据治理能够解决数据不一致的问题,确立统一的数据标准,进而提升组织内部的数据质量,并促进数据的广泛共享,最终将数据转化为企业的宝贵资产,支持其运营、管理及决策过程。当前,企业普遍将数据治理的目标设定为确保数据的可理解性、可用性和可管理性,以充分释放数据资产的价值。但是,数据治理的具体对象和范围会根据企业的实际需求而有所不同球盟会,。面对持续变化的外部环境与业务要求,企业在数据治理的不同阶段会设定各自针对性的目标。

  尽管不同行业对数据治理的定义存在细微差别,但数据治理的架构基础组件却大同小异,主要包括数据标准管理、数据集成、元数据管理、主数据管理、数据资产管理、数据质量控制、数据模型设计、数据服务以及数据安全管理等核心模块。企业在构建数据治理体系与架构时,会根据自身所处的行业特征、经营属性及信息化水平的不同而有所侧重。因此,在实际操作中,企业一方面可以借鉴业界的先进框架和成功案例,另一方面也必须紧密结合自身的实际需求和未来发展策略,量身打造一套符合自身特色的数据治理架构

  数据治理行业内的参与者主要包含三类,分别为独立数据治理服务提供商、大型科技公司、云服务商。

  (1)独立数据治理服务商:数据治理服务商提供专业工具和定制化解决方案,具备技术实力和行业经验,服务内容涵盖数据质量管理、元数据管理、数据安全和合规性等。目标客户为中小型企业及金融、医疗、政务等行业客户,帮助解决数据不一致、重复和错误问题,确保数据合规性,优化数据管理流程,提升数据可用性和价值。代表企业有北京亿信华辰软件有限责任公司、北京晴数智慧科技有限公司等。

  (2)大型科技公司:主要为客户提供全面的数据治理解决方案,涵盖数据生命周期管理、质量提升、安全和隐私保护,强调与企业业务流程的深度融合。结合强大技术平台,提供从硬件到软件的一站式服务,目标客户为希望集成现有技术架构的企业。主要解决数据孤岛问题,优化管理效率,支持数据驱动决策,确保与企业战略目标一致,促进数字化转型。代表企业有百度、腾讯、华为、IBM等。

  (3)云服务提供商:云服务提供基于云计算的数据治理工具,包括数据分类、标签化、元数据管理和数据安全,强调弹性扩展和灵活性,支持多租户环境,并利用AI提升自动化水平。目标客户为中大型企业,尤其是希望优化数据管理及有动态数据治理需求的企业。云服务商帮助企业提高数据治理效率和自动化水平,减少人工干预,确保云环境中数据的安全性和合规性,支持快速响应市场变化。代表企业有阿里云、华为云、腾讯云等。

  自2018年起,政府出台了一系列数据治理相关的政策法规,为数据治理行业的发展提供了法律保障,明确了数据安全和隐私保护的要求,为数据治理行业的合规发展提供了法律依据。

  在中游的两类服务商中,AI基础数据服务商利用数据采集与标注工具处理图像、语音、文本等非结构化数据,而面向AI的数据治理服务商则专注于使用各类数据治理组件来管理和优化多源异构数据,将其转化为有价值的数据资产,从而提升数据质量。这两类服务商处理后的数据可以直接用于下游的AI训练,使AI应用的落地更加高效便捷。

  从上游数据供给的行业分布来看,呈现出相对集中的态势,主要聚焦于五大领域:政府、互联网、媒体、公众服务与专业服务,以及交通行业。这五大行业的数据产出量占据了整体约70%的份额。据中国网络空间研究院发布的《国家数据资源调查报告(2022)》显示,2022年我国数据产量高达8.1ZB,实现了22.7%的同比增长,占全球数据总产量的比例为10.5%,在全球排名中位居第二。2023年我国数据产量发生了爆发式增长,数据产量增长至32.9ZB。2017年-2023年之间我国数据产量的复合年增长率高达27.6%。

  信息来源:《数字中国发展报告(2020-2022)》、《全国数据资源调查报告2023年》、融中研究整理

  近年来,我国数据资源经历了迅猛增长。根据《全国数据资源调查报告(2023年)》显示,截至2023年,数据总生产量已快速攀升至32.85ZB,同比增长22.44%。数据已成为国民经济不可或缺的关键生产要素。企业通过数据的汇聚、梳理、处理及深入分析球盟会,,充分挖掘其内在价值,从而指导资源分配、流程优化和战略规划等一系列核心生产经营决策。

  我国大数据产业规模的增长与数据产量的提升保持了相近的增速。据国家互联网信息办公室发布的《数字中国发展报告(2022)》,2017年至2023年间,两者的复合增长率均约为28.0%,至2023年,大数据产业规模已达到2.2万亿元。这一显著增长的背后,是数字经济的蓬勃发展,消费和生产等各类经济活动正逐步由线下转向线上。同时,以大模型为引领的人工智能技术取得了突破性进展,为大数据开辟了全新的应用领域。经过治理的数据,成为大模型训练的宝贵“养料”,助力模型不断精进与广泛应用。

  信息来源:国家互联网信息办公室《数字中国发展报告(2022)》《数字中国发展建设进程报告(2019)》、融中研究整理

  根据IDC预测,2023年中国大数据市场总规模预计将达到约1,600亿人民币,其中软件和服务部分有望突破1,000亿元。从2019年到2023年,中国大数据市场的复合增长率预计为23.5%。在银行、能源和通信等下业的典型大数据平台建设项目中,大约20%的预算将用于数据治理。据此推算,2023年中国数据治理市场规模预计将达约200亿元。

  数据治理行业的竞争格局呈现出多元化的特点,主要参与者包括大型科技公司(如华为、腾讯)、云服务提供商(如阿里云)、独立数据治理服务提供商(如亿信华辰)。这些企业在技术实力、市场推广能力、目标客户和应用场景上各有侧重,形成了差异化竞争的格局。根据赛迪研究院数据,大数据产业的结构占比情况如下:占比最高的是大数据硬件,达40.5%;其次为大数据服务,占33.8%;大数据软件位居第三,占比25.7%。

  数据治理未来将融入到数据开发之中,朝向精细化发展。尽管当前大型银行、大型运营商等多个领域的下游客户已经搭建了较为强大的数据治理体系,但普遍或存在数据治理和数据开发割裂的问题。如何将治理能力嵌入到数据开发流程中,加速数据开发的效率,打通团队间的协作壁垒,形成数据开发、治理一体的数据生产流水线成为头部企业的迫切需求。因此,未来数据治理会朝向精细化发展,来构建高效的协同机制,打造开发数据治理一体化的流水线,建立精细化的数据运营体系。

  数据治理将迈向数据资产管理,推动企业数据价值加速释放。数据资产管理强调了数据治理的内涵,其不仅保证数据QMH球盟会app,的质量与合规性,更将数据视作一种宝贵的资产,加速其商业价值的实现。未来企业将会通过建立数据资产平台、编制详尽的数据资产目录、实施全生命周期的数据资产运营管理,并利用数据资产管理的成果优化数据治理实践,从而充分发掘并最大化数据的商业价值。

搜索