元数据是什么意思？元数据和主数据的区别！

指导读书 本次主题是基于元数据的智能治理电力数据元素的价值挖掘。围绕以下四点展开。

1 .结果背景

2 .结果内容

3 .结果价值

4 .典型应用实例

共享嘉宾|南方电网云南电网公司信息中心经理黄祖元

编辑|毕东海大连理工大学

生产团体| |DataFun

01

成果背景

构建数据要素国家治理体系，不仅是中国的推动。国家治理现代化迫切的需要，也是我们国家的解放。数据要素价值，占据国际数字竞争制高点的迫切需要。 以数据为关键，全方位数字经济发展和数字化转型全面提升各行各业业务转型和决策能力。 关于中国南方电网公司总的来说，2017年以来，明确提出了“数字网格”建设和数字化转型的目标，并进一步强调加强。数据资产管理挖掘数据资产价值，实施国家大数据发展战略举措。 到目前为止，南方电网云南电网公司管理的数据超过500T，支撑了能源行业、政府部门、民生等数百个应用。

大数据时代，传统数据治理手段已不能适应管理过程中出现的问题，如多源异构数据获取与定义、数据管理效率、标准与规则时效性、管理知识利用、多维管理知识集成等。

在数据管理和数据价值发挥的过程中，数据资产和数据价值的管理非常重要。 只有数据准确、一致、质量高、能真实反映情况，服务才能支撑相关业务的正确推进。 但是，实际的数据资产管理无法达到这一理想状况，面临着很多问题。 具体来说:

)电力公司主要实现结构化数据技术元数据的自动采集，但管理元数据和业务元数据往往以非结构化形式存在，需要人工输入和控制。 每年需要很多资源和成本。

)2)不同来源业务数据数据标准不一致； 第一，数据标准会随着业务的变化而变化，相应的数据治理规则无法及时更新。 其次，根据内部业务线的不同，例如设备的定义、生产、市场营销等，数据标准可能不一致。 这给数据管理的应用和数据指标的统计分析带来了一些问题。

)3)数据质量规则列表主要根据人工经验进行整理和维护。 目前只能涵盖核心业务和部分常规业务。 新兴业务、综合能源业务、产业金融的覆盖面需要加强。

)4)在分析数据问题时，数据逻辑和业务流程仍紧密结合，需要增强基层业务人员开展数据管理的服务能力。

)5)元数据、数据标准、数据质量规则、问题数据分析结果、改进指南、改进经验等知识。 已经独立积累，数据管理知识还没有完全有效地系统化。

如上所述，传统的数据治理会出现很多问题。

(1)多源异构数据数据定义与标准不统一，数据覆盖不全。

)2)数据管理流程缺乏自动化和智能化手段，工作量大，效率低。

)3)不能保证数据标准和数据质量规则的时效性。

)4)治理专家知识未得到有效利用，问题发现效率不高。

)5)数据治理知识融合度较低，无法多维度查询和展示相关信息。

面对这些问题，依靠传统的“人海战术”数据治理模式仍然不能满足数字化商业变革的要求。 为此，2020年底，中国南方电网云南电网公司开展了实践。元数据在智能治理的探索中，通过智能识别、智能分析、知识图谱等自动化、智能数据治理手段，实现基于元数据的智能治理，挖掘电力数据要素的价值，实现“智能提高质量，以质量计价”

数据治理的目标主要围绕五个方面。

(1)多源异构元数据的智能采集和元模型管理。

)2)收集技术元数据、业务元数据、管理元数据等多源数据，构建电力管理知识图谱。

)3)根据知识图，通过扫描数据项，自动生成自适应的质量标准和规则。

)4)通过数据特征分析的算法，智能识别和挖掘数据标准。

)5)基于案例库和知识库沉淀，智能分析数据问题，提高数据资产管理和数据质量。

_

02

结果的内容

南方电网云南电网公司经过理论研究、平台建设、场景应用三个阶段，在“测绘管理知识”和“元数据自动化管理”五个重点方向取得突破。

为了实现“以智促质、以质增值”的目标，南方电网云南电网公司提出“绘制管理知识图谱”等5点改进，搭建数据管理智能技术平台，在应用场景中实现价值挖掘，初步实现智能数据管理方向 用智能数据管理手段代替手动操作。这条技术路线主要分为三个步骤:

(1)统一的大数据治理体系研究。

)2)基于数据治理智能技术的平台建设。 这包括建立知识地图集和自动管理元数据。 在此基础上，自动生成数据标准和规则。 通过应用数据规则，将研究成果通过平台建设工具化，支持数据管理和数据问题智能分析。

)3)数据治理智能技术的应用场景。

基于元数据的智能治理系统主要分为两个层次。

)1)基础技术服务能力基础数据管理基于机器学习、自然语言处理、智能算法等技术能力，构建面向电力数据管理问题的基础技术服务能力。 传统上，包括数据管理、数据标准管理、数据质量检查、质量问题处理，都是依靠人力和专家经验进行组织。 因此，升级底层技术服务是非常必要的，这是治理体系的基础。

(2)智能数据治理框架在应用数据治理技术服务能力的基础上，基于治理应用的需求，构建智能数据治理平台。

其次，简要介绍了技术实现的思路。。

元数据治理平台要解决的第一个问题是建立统一的元数据模型，支持多源异构数据的智能元数据识别。企业内的业务部门不同，随着业务的变化，对数据的定义也不同。 例如动力机器市场相关部门的定义与生产部门不同。 这是企业中统计分析面临的问题。 同时，随着数据应用的不断增加，电力数据需要更多相关行业的外部数据协同应用，不断释放数据要素的价值。 在这个过程中，内外不同的单位对数据的定义有很大的不同。 因此，需要解决多源异构数据的智能识别问题。

具体而言，通过建立多源异构元数据模型，利用基于业务对象重组企业内外数据元数据的元数据智能识别，基于技术元数据提取和完善元数据，管理元数据，结构统一 在此过程中，需要根据业务对象对企业内外的数据进行重组。 例如，对于同一个设备，电力行业和银行必须一起识别，建立统一的数据资产目录。 此外，元数据的智能识别还需要参考图像识别、文本挖掘等技术。 这是元数据智能治理的第一步。

元数据治理系统的第二步是构建元数据治理的知识图，实现多种数据知识的集成。以识别出的技术元数据为分支，自动收集“元数据与标准、标准与规则、规则与管理案例、规则与管理问题、元数据之间的父子关系”等信息，形成树叶，构建包含实体、关系、属性等信息的管理知识地图，并对该地图进行智能 为下一步生成标准自动质量规则奠定了基础。

元数据治理系统的第三步通过智能技术实现数据标准和规则的自生成，支持规则的动态更新。。 工具扫描会根据治理知识图自动生成数据标准和数据质量规则，并随业务系统的更新而自动更新。 在实际业务中，也需要每年进行数据管理，及时了解变化。

最后，在数据质量管理过程中，需要通过管理案例沉淀知识，实现质量问题的智能分析，并用算法快速定位质量问题。 利用传统数据治理积累的知识库，利用机器学习技术，训练质量问题分析模型，根据数据质量规则运行结果中质量问题的特点，通过算法技术计算特征相似度，自动推荐问题分析的原因和治理案例，用户进行治理 通过建立知识库，遇到一些质量问题可以利用知识库的定位来解决，作为改善数据质量的依据，为一线数据管理者提供了方便。

通过上述技术手段构建整个数据治理平台，通过多源异构数据和元数据智能识别技术，实现元数据自动管理，基于元数据结构，实现数据标准和质量规则的自动生成，智能问题分析处理和治理知识图的自动构建 该平台通过智能、自动化的手段实现多源异构数据的管理，有效支持数据交互服务和数据APP。

数据治理平台使用了以下关键技术:

1 .非结构化数据的元数据智能感知技术。

结构化数据的处理技术已经非常成熟，但管理元数据和业务元数据往往存储在几个文档中。 利用自然语言处理、图像特征识别、语言识别、动态特征识别等智能技术快速分析识别图像、文档、音频、视频等非结构化数据的元数据信息。 另外，现实中对非结构化数据的管理存在漏洞，没有统一的分类。

2 .构建电力元数据知识地图。

首先，从业务系统数据库中收集技术元数据，构建知识地图原型。 其次，根据从技术文档、标准、制度中智能识别的业务元数据和管理元数据，提取数据特征、实体、关系、属性等信息，不断循环完善知识图谱，形成系统的一站式图谱。

3 .智能数据挖掘技术

在数据治理知识图上选择业务对象的相关字段，在数据挖掘页面中通过数据特征算法计算出该字段的数据类型特征分布，可以作为业务变化时对数据标准变化感知和改进的补充，外部数据 首先，从知识地图中选择需要标准挖掘的领域的元数据。 其次，自动配置字段，用智能算法分析字段的长度、枚举值、范围等数据特性。 最后，人工测量后形成标准。

4 .数据质量规则的自生成与自适应技术。

通过使用元数据库表名称、字段名和数据标准关系信息，并使用规则生成引擎根据规则脚本规范组织参数和标准信息，可以实现数据质量规则。结构化查询语言剧本。 它还通过感知元数据、数据标准和数据特性的变化来支持自适应更新。 通过该技术，可以生成通用的数据质量规则，实现数据治理的全局覆盖。

5 .质量问题自动原因分析技术。

数据质量问题的自动原因分析是根据南方电网云南电网公司多年积累的数据质量问题分析报告、改进指南等管理案例信息，在特征相似度计算、分析、匹配的基础上，形成最优的综合管理建议。 基于治理知识图，通过元数据实现了对所有与数据治理相关的信息的统一查询。

_

03

成就价值

经过一年的实践，基于元数据的智能治理在银行、新能源、客户服务等应用场景，有效促进电力数据元素的价值挖掘和释放。

首先，南方电网云南电网公司团队将相关研究成果应用于数据智能治理平台。 该平台基本实现自动化治理，可以集中于特定的核心业务，覆盖外部数据和非核心数据等更广泛的数据。 截至目前，已管理5000+数据，自动生成3000+规则，支持1000多种问题、20多种应用场景。 在扩大元数据覆盖范围、解决多源异构问题、实现智能管理等方面取得了显著成效。 治理后，数据交换服务覆盖银行、新能源、客户服务等应用场景，有效支撑了大数据的应用，促进了电力数据要素的价值挖掘和释放。

_

04

典型应用示例

第一个典型的应用例子是云服务。在这种情况下，主要通过电力用户的数据，与银行合作构建并提供用户信用图像。小型企业和小型企业供参考。

该项目通过用户用电数据的元数据定义和元模型的建立，为“云用电贷”产品的数据库设计和数据模型的建立提供了极大的便利，并将应用推广时间提前了半年，率先在昆明实现。曲靖在、玉溪三地同步推进，第一单由电力客户自行成功达成。 借助智能数据管理，云上该产品管理的数据得到极大控制，数据服务访问成功率从81.3%提高到95.7%，有效支持“云上同服务”访问数据增值服务 目前，该产品已被访问2000+次。 到目前为止，已经对云南省的几十家中小企业进行了几十次。信用数千万元贷款发放成功。

第二个典型的应用例子是彩云冲。。 该平台通过对收费数据的分析和管理，将数据问题从8%减少到2%，并提供支持。新能源汽车另外，还有充电设施的实时数据统计服务、新能源汽车和充电设施融合的大数据应用分析服务。 通过对充电数据和布局数据的协同管理，为充电桩的准确定位和布局奠定坚实的基础，解决新能源汽车用户难寻、难充电的业务困境，与电网数据接口和其他平台数据接口

今天的共享到此结束。 谢谢你。

|分享客人|

黄祖元南方电网云南电网公司信息中心经理

硕士学历，长期从事电力信息化建设和运维工作，近5年从事数据资产管理、大数据应用建设、数据分析和挖掘工作。

|下载数据智能知识地图|

上下滑动？ ？ ？ ？ 以显示数据智能知识图。数据集成模块请给我完整版。关注微信官方账号“大智慧”" "下载

| |DataFun新媒体矩阵|

|关于data fun||

专注于大数据和人工智能技术应用的共享和交流。 创办于2017年，在北京、上海、深圳、杭州等城市举办了100+场线下和100+场线上沙龙、论坛和峰会，邀请了2000多位专家学者分享。 其微信官方账号DataFunTalk积累了900+原创文章、百万+阅读量、16万+精准粉丝。