数据仓库 - 元数据概念

  • 什么是元数据?

    元数据被简单地定义为关于数据的数据。用于表示其他数据的数据称为元数据。例如,一本书的索引作为书中内容的元数据。换句话说,我们可以说元数据是将我们引向详细数据的汇总数据。在数据仓库方面,我们可以这样定义元数据。
    • 元数据是数据仓库的路线图。
    • 数据仓库中的元数据定义了仓库对象。
    • 元数据充当目录。该目录帮助决策支持系统定位数据仓库的内容。
    Note− 在数据仓库中,我们为给定数据仓库的数据名称和定义创建元数据。与此元数据一起,还创建了额外的元数据,用于为任何提取的数据(提取数据的来源)加盖时间戳。
  • 元数据类别

    元数据可大致分为三类 -
    • 业务元数据− 它具有数据所有权信息、业务定义和更改策略。
    • 技术元数据− 它包括数据库系统名称、表和列名称和大小、数据类型和允许值。技术元数据还包括结构信息,例如主键和外键属性以及索引。
    • 操作元数据− 它包括数据流通和数据沿袭。数据的流通意味着数据是活动的、存档的还是清除的。数据沿袭是指数据迁移和应用转换的历史。
    元数据类别
  • 元数据的作用

    元数据在数据仓库中具有非常重要的作用。元数据在仓库中的作用不同于仓库数据,但它起着重要的作用。下面解释了元数据的各种作用。
    • 元数据充当目录。
    • 该目录帮助决策支持系统定位数据仓库的内容。
    • 当数据从操作环境转换到数据仓库环境时,元数据有助于决策支持系统映射数据。
    • 元数据有助于汇总当前的详细数据和高度汇总的数据。
    • 元数据还有助于在不太详细的数据和高度概括的数据之间进行汇总。
    • 元数据用于查询工具。
    • 元数据用于提取和清理工具。
    • 元数据用于报告工具。
    • 元数据用于转换工具。
    • 元数据在加载函数中起着重要作用。
    下图显示了元数据的作用。
    元数据的作用
  • 元数据存储库

    元数据存储库是数据仓库系统的组成部分。它具有以下元数据 -
    • 数据仓库的定义− 包括对数据仓库结构的描述。描述由模式、视图、层次结构、派生数据定义以及数据集市位置和内容定义。
    • 业务元数据− 它包含数据所有权信息、业务定义和更改策略。
    • 操作元数据− 它包括数据流通和数据沿袭。数据的流通意味着数据是活动的、存档的还是清除的。数据沿袭是指数据迁移和应用转换的历史。
    • 用于从操作环境映射到数据仓库的数据− 包括源数据库及其内容、数据提取、数据分区清理、转换规则、数据刷新和清除规则。
    • 摘要算法− 包括维度算法、粒度数据、聚合、汇总等。
  • 元数据管理的挑战

    元数据的重要性怎么强调都不为过。元数据有助于提高报告的准确性、验证数据转换并确保计算的准确性。元数据还向业务最终用户强制执行业务术语的定义。由于元数据的所有这些用途,它也面临着挑战。下面讨论了一些挑战。
    • 大型组织中的元数据分散在整个组织中。此元数据散布在电子表格、数据库和应用程序中。
    • 元数据可以存在于文本文件或多媒体文件中。要将此数据用于信息管理解决方案,必须对其进行正确定义。
    • 没有全行业公认的标准。数据管理解决方案供应商的关注点很窄。
    • 传递元数据没有简单且被接受的方法。