元数据细分

元数据即描述数据的数据是数据治理、数据目录、数据血缘、数据可观测体系的底层基础。现代数据平台不再只把元数据简单看作表注释而是按照使用视角划分为五大类别技术元数据、业务元数据、操作/运维元数据、血缘元数据、信任元数据。五类元数据相互关联、互相补充共同支撑数据发现、数据开发、数据运维、数据合规与数据消费全链路。电商场景背景以零售电商平台为例核心资产包含用户、订单、商品、支付、售后、流量埋点等数据大促期间数据链路复杂、指标口径容易混淆、个人隐私敏感数据集中五类元数据在电商订单与GMV指标体系中落地价值突出。1. 技术元数据面向数据平台、开发工程师描述数据实体在存储与计算层的物理形态与技术特征回答数据长什么样、存在哪里、怎么读写。表结构库名、表名、分区、索引、主键、约束、表注释字段类型字段名称、数据类型、长度、精度、是否可为空、默认值存储地址存储路径、存储引擎、集群信息、文件格式、分区存储位置SQL脚本建表语句、ETL SQL、视图定义、函数源码执行计划SQL解析树、算子执行逻辑、扫描行数、关联方式、资源消耗计划电商典型案例电商ODS层原始订单表ods_order_detail分区按dt日期分区字段包含order_id字符串主键、user_id、pay_amountdecimal(18,2)、receiver_phone字符串存储在HDFS数据湖ORC格式。ETL脚本通过SQL读取当日订单分区关联商品表生成DWS日汇总表。执行计划可看到大促日该SQL会扫描当日订单分区与商品维表做Hash Join预估扫描千万级订单记录。价值供数据开发、平台自动化解析、DDL变更检测、存储盘点是所有其他元数据的基础载体。2. 业务元数据面向业务分析师、数据产品、业务方把冰冷的技术对象翻译成业务语言回答这个数据代表什么业务含义、谁负责。业务术语统一业务词汇、同义词映射、术语字典指标口径指标计算公式、统计维度、统计周期、过滤条件业务定义实体含义、业务场景说明、取值含义、业务规则数据责任人业务负责人、技术负责人、审批人、沟通联系人业务域业务域、业务子域、主题域分层归属如用户域、交易域电商典型案例交易域核心指标GMV。业务术语GMV成交总额区分“GMV”与“实付金额”两个易混淆词汇指标口径SUM(订单商品金额)统计范围包含已下单未付款订单剔除测试订单业务定义用户下单时的商品总金额不含运费业务责任人交易运营负责人技术维护人数仓开发归属业务域交易域-订单子域。运营人员在数据目录检索GMV时直接读取这套业务元数据避免运营、财务、数仓三方口径不一致。价值解决“同名不同义、同义不同名”降低业务人员理解数据门槛支撑指标管理与数据目录检索。3. 操作/运维元数据面向数据运维、数据平台管理员记录数据任务与资源运行时行为回答数据什么时候跑、跑得多频繁、运行状态如何。访问日志用户查询记录、查询账号、查询时间、访问IP、查询的表/字段调用频次表/接口/指标的访问次数、热点访问时段、高频消费用户刷新周期调度频率、调度时间窗口、数据时效T1/实时、数据延迟SLA任务耗时任务运行时长、历史耗时分布、失败次数、重试记录、资源占用电商典型案例大促期间dws_daily_trade_summary日交易汇总表。刷新周期每日凌晨02:00调度SLA要求04:00前产出日常任务耗时约25分钟大促峰值日可能拉长至70分钟存在资源抢占导致任务偶发失败访问日志显示运营、财务、分析师在每日上午9–11点高频查询GMV指标调用频次大促期间该表查询量上涨8倍可识别热点资产扩容资源同时记录哪些账号频繁查询收件手机号等敏感字段用于审计。价值任务告警、资源优化、冷热数据判定、访问权限审计、评估数据资产实际使用价值识别僵尸数据。4. 血缘元数据描述数据之间的生成与流转关系回答数据从哪里来、经过哪些计算、输出到哪里也就是数据溯源Provenance。字段级血缘单个字段从上游原始字段经过转换、关联、计算后映射到下游字段算子级血缘SQL/ETL内部每一步算子过滤、join、聚合、case when的输入输出关系端到端数据溯源从原始数据源 → 中间表 → 指标 → 报表/API的完整链路即Provenance溯源电商典型案例GMV指标端到端溯源业务数据库订单binlog → ODS原始订单表ods_order_detailorder_amount字段→ DWD订单明细层过滤测试订单→ DWS交易汇总表sum聚合得到gmv→ 业务报表与运营API。字段级血缘dws表gmv字段来源于ods_order_detail.order_amount算子级血缘可以看到经过WHERE过滤剔除测试订单、JOIN商品维表、SUM聚合算子当上游订单表字段变更可一键影响分析评估下游GMV看板、财务报表、推荐算法特征是否受影响大促指标异常时顺着血缘快速定位是源库同步延迟还是ETL算子过滤条件错误。价值影响分析上游变更评估下游影响范围、故障根因定位、指标变更审计、数据链路可视化是数据可观测的核心能力。5. 信任元数据面向数据安全、合规、数据消费者用来评估数据是否可信、是否安全可用回答这份数据质量好不好、是否敏感、是否合规。数据质量评分完整性、准确性、唯一性、及时性、有效性得分质量规则与质检结果敏感等级数据分级分类公开/内部/敏感/高度敏感如手机号、身份证、银行卡标记认证状态数据资产是否经过审核、指标是否上线认证、资产生命周期状态合规标签隐私合规标签、等保标签、数据出境标签、留存期限标签电商典型案例订单表ods_order_detail信任元数据。数据质量评分完整性98.5%少量订单缺失收件地址、准确性99.2%质检规则校验order_id唯一性、支付金额大于等于0敏感等级receiver_phone、receiver_addr标记为敏感个人信息查询时自动脱敏GMV指标标记为已业务认证、上线可用合规标签打上《个人信息保护法》标签个人信息存储保留周期3年到期自动清理。当分析师查看资产会优先看到质量评分并且敏感字段自动屏蔽原始明文降低隐私泄露风险。价值数据权限控制、敏感数据识别、合规审计、引导用户优先选用高可信资产降低数据使用风险。五类元数据关系小结技术元数据是骨架定义数据实体电商订单表的存储结构、字段类型都属于这一层。业务元数据赋予语义对接业务认知统一GMV、下单、实付等业务口径消除跨部门歧义。操作运维元数据记录运行行为衡量活跃度监控大促任务运行时长、访问热度保障看板按时产出。血缘元数据刻画链路追踪数据流转GMV指标异常时端到端溯源定位故障评估表变更影响。信任元数据打上可信度与安全标签保障安全消费识别用户手机号、收货地址等敏感字段做质量校验与隐私合规管控。完整的元数据体系需要采集、存储、关联这五类元数据打通数据目录、指标平台、数据质量、数据安全、数据运维才能真正实现电商平台海量交易数据资产化。