ChatBI 复杂计算逻辑沉淀：从“用户手写度量”到数仓衍生指标库的闭环流转

发布时间：2026/10/24 5:15:54
ChatBI 复杂计算逻辑沉淀：从“用户手写度量”到数仓衍生指标库的闭环流转

在企业引入对话式商业智能（ChatBI）的演进历程中，团队通常会经历三个阶段的认知跃迁：

  • 第一阶段（被动问答）：用户提问预设好的标准指标（如“看今天的 GMV”），系统查预计算好的宽表，中规中矩；
  • 第二阶段（自由探索）：用户开始提出大量带有自由数学公式的自定义计算（如“帮我算一下(实付金额 - 运费 - 包装成本) / 支付件数，并按照毛利率由高到低排名前 10”）；
  • 第三阶段（逻辑沉淀与资产共建）：随着业务分析师在 ChatBI 中频繁发明新的复合度量与业务口径，如果这些高价值的逻辑只零散地停留在个人与 AI 的临时会话日志中，企业就会重新退化为“数据烟囱”与“暗黑口径”。

如何把业务分析师在聊天界面中灵光一闪、临时调优验证成功的**“用户手写度量（User-defined Ad-hoc Metrics）”，无缝提炼、转化为数仓统一语义层（Semantic Layer）中的标准化衍生指标（Standardized Derived Metrics）**？

本文将系统拆解这一“从自然语言交互到企业指标资产沉淀”的闭环流转架构设计。

一、 闭环链路解构：从临时探索到资产固化

传统数仓指标的开发流程是漫长的“提工单 $\to$ 需求评审 $\to$ 数仓排期 $\to$ ETL 跑批 $\to$ 报表上线”，周期动辄两周起步。
而在现代 ChatBI 驱动的自服务体系下，指标的生命周期被重构为一条敏捷的**“业务探索-沙箱验证-资产合流”闭环飞轮**：

flowchart TD User["业务分析师在 ChatBI 对话: '将净客单价定义为 (pay_amt - refund_amt) / valid_users'"] --> NLU[LLM 提取计算公式与原子指标依赖] NLU --> Sandbox[动态生成即席虚拟度量 (Virtual Metric / Dynamic Measure)] Sandbox --> QueryEngine[(计算引擎 ClickHouse/DuckDB 即席验证)] QueryEngine --> VisResult[前端动态图表即时呈现] VisResult --> Feedback{业务分析师验证满意并点击: '沉淀为公共指标'?} Feedback -- 否 --> Temp[作为临时会话草稿, 7天自动清理] Feedback -- 是 --> Compile[指标编译器自动化生成 Semantic DSL] Compile --> CI[数据中台自动化指标 CI/CD 检测] CI --> Review[指标管理员一键审核合流] Review --> Standard[(企业统一指标中心: 开放给全员与看板调用)]

二、 动态虚拟度量（Virtual Metric）的即席计算原理

在用户手写新指标的瞬间，数仓底层并没有物理上预计算好的衍生列。ChatBI 系统必须在不修改物理数仓 Schema 的前提下，实时在查询层面动态拼装出该度量。

1. 指标的代数化表达模型（Metric Algebra）

一个衍生指标在数学与代码层被严格建模为一个由基础原子指标（Atomic Metrics）与算术运算树构成的计算图：
$$\text{DerivedMetric} = f(A_1, A_2, \dots, A_k; , D_1, D_2, \dots, D_m)$$
例如：

  • 原子指标 $A_1$:SUM(fact_orders.pay_amount)
  • 原子指标 $A_2$:SUM(fact_orders.coupon_discount)
  • 原子指标 $A_3$:COUNT(DISTINCT fact_orders.buyer_id)
  • 复合算式:(A1 - A2) / A3

2. 即席 SQL 动态编译实现

当系统解析出用户的公式后，无需落盘，而是通过 SQL 的公共表表达式（CTE）动态注入计算：

-- ChatBI 引擎为用户手写度量动态生成的安全即席 SQL WITH base_atomic_metrics AS ( SELECT shop_id, category_name, -- 底层聚合原子度量 SUM(pay_amount) AS a_pay_amount, SUM(coupon_discount) AS a_coupon_discount, COUNT(DISTINCT buyer_id) AS a_buyer_count FROM dwd_trade_order_di WHERE partition_date = '2026-10-23' GROUP BY shop_id, category_name ) SELECT shop_id, category_name, -- 动态注入用户手写的复合度量表达式，并自动处理除以零异常 CASE WHEN a_buyer_count = 0 THEN 0.0 ELSE round((a_pay_amount - a_coupon_discount) / a_buyer_count, 2) END AS user_defined_net_arpu FROM base_atomic_metrics ORDER BY user_defined_net_arpu DESC;

三、 资产化沉淀：从会话推送到指标代码库（Metrics as Code）

当分析师发现这个新度量在业务经营复盘中极具洞察价值时，他无需打开复杂的数仓管理后台，只需在 ChatBI 气泡右下方点击**“申请固化为公共指标”**按钮。

系统立即启动后台自动化资产化流水线：

1. 自动生成标准指标定义代码（YAML DSL）

系统将临时的公式编译为标准的代码化定义文件，自动推送到 GitLab 代码库的临时分支：

# 自动化生成的衍生指标定义: metric_net_buyer_arpu.yml version: 1.0.0 metric: name: net_buyer_arpu display_name: 净客单客均贡献 (Net ARPU) description: 扣除优惠券后、有效支付买家的平均净支付金额 type: DERIVED owner: "wangbaolong" domain: "trade_sales" source_tables: - "lakehouse.dwd_trade_order_di" formula: "(sum_pay_amount - sum_coupon_discount) / count_distinct_buyers" referenced_atomic_metrics: - sum_pay_amount - sum_coupon_discount - count_distinct_buyers data_type: "DECIMAL(12, 2)" created_via: "ChatBI_Conversation_ce53d0b3"

2. 自动化合规与同名碰撞检测（CI Pipeline）

在提交 Pull Request（PR）时，CI 机器人自动触发静态合规检查：

  • 同义词与重复度量检测：通过 Embedding 相似度比对，检测当前指标是否与已有指标real_customer_arpu高度重复，若重复则警告并提示合并；
  • 循环依赖探测：检查该复合公式是否存在环形引用；
  • 性能与物化建议评估：根据该指标所引用的原子事实表体积，评估是否需要为其建立物化视图（Materialized View）进行预先跑批加速。

3. 指标管家一键批准合流（Human-in-the-loop）

数仓架构师或数据资产管家在飞书/钉钉中收到审批卡片，卡片清晰展示了指标业务定义、公式预览、以及推荐人的使用频次。
点击“批准”后：

  • 代码合并进入主干；
  • 统一语义层（Cube / Semantic Layer）自动重载；
  • 全公司所有人在 ChatBI、以及 Tableau/Superset 看板中，均可立刻直接以标准官方口径检索并调用net_buyer_arpu！

四、 收益与工程启示

在某大型零售电商的实践中，这种**“自下而上探索 + 自动化编译沉淀 + 人机协同治理”**的模式，彻底打破了数据中台与业务团队之间长达数年的沟通高墙：

  • 指标交付周期从 14 天缩短至 10 分钟：业务人员自己在对话中定义、验证，中台只需在最后一道把关审核；
  • 消除了 80% 的重复造轮子工单：大量临时探索在会话中自行闭环，真正具备普适价值的逻辑被提炼入库；
  • 业务参与感与数据公信力达到历史巅峰：指标不再是数仓工程师闭门造车的产物，而是业务一线实战智慧的结晶。

五、 总结

ChatBI 的终极使命，不是做一个冷冰冰的 SQL 自动生成器，而是成为企业全员共同打磨、沉淀与进化数据资产的“活体知识中枢”。
通过构建**“即席虚拟度量计算 $\to$ 自动化 Semantic DSL 编译 $\to$ CI 自动化查重合流”**的闭环管道，我们在自然语言的灵动自由与数仓资产的规范秩序之间，找到了最完美的黄金交汇点。