资源 · 46
数据可靠性:在做出决策之前诊断仪表板
区分真正的下降与延迟数据、数据收集失败和定义更改。
已更新 · 5 min
本指南有助于实现的目标
- 将数字与数据源和转换关联起来。
- 检测不完整的周期。
- 区分缺失数据和零值。
- 修复错误而不重复计数。
快速检查
- 最新事件处理时间?
- 显示的期间是否已结束?
- 分母是否已更改?
- 缺失值是否已转换为零?
- 重放是否会创建重复项?
分步指南
- 1
记录合同
编写定义、单位、维度、范围、时区、频率、来源和指标所有者。 指定空值处理、后期更正以及收集或同意的变更。 相同的公式可能对不同的人群产生无法比较的数据。
交付成果:数据合同和定义历史记录。
- 2
追踪转换
连接源事件、存储、过滤、去重、聚合和图表。 记录版本、货币转换和连接规则。 完整跟踪已授权的样本记录,无需将敏感数据复制到诊断档案中。
交付成果:血缘关系和核对样本。
- 3
衡量三个不同的维度
分别跟踪新鲜度、完整性和正确性。 已完成的作业可能遗漏某个分区;预期容量可能包含错误值。 围绕决策和可容忍的延迟设置阈值,而不是采用统一的百分比。
交付成果:检查、阈值和测量范围。
- 4
确定异常情况
在同一窗口中比较源和输出;检查延迟、缺失事件、过滤器、连接、收集和定义。 仅在容量仍然可解释的情况下进行分段。 标记部分数据,而不是将下降情况作为既定事实呈现。
交付成果:区分事实、假设和未知情况的诊断。
- 5
修复和重放
在有限范围内修复原因。 使用稳定的标识、去重和完全协调进行重放;确认已传播到导出文件和图表中。 保留解释所需的前后值,而无需不必要的细节。
交付成果:核对和更正证据。
- 6
公开质量状态
显示上次更新时间、覆盖周期和已知限制。 为每个警报指定负责人和操作。 在源或架构更改后重新测试;总体平均值可能会掩盖缺失的段。
交付成果:质量状态和升级流程。
虚构示例
示例情境
示例情况:图表显示,由于某个区域的订单处理延迟,订单数量减少。
决策及预期证据
页面会标记该部分期间,处理恢复后不会出现重复订单,并且在做出任何商业决定之前,会先核对总计。
区分机制
| 机制 | 目的 | 验证或限制 |
|---|---|---|
| 新鲜度 | 数据是否足够新? | 最新处理的事件和延迟 |
| 完整性 | 是否存在预期项? | 核对后的分区和计数 |
| 正确性 | 值是否符合规则? | 已知案例的预期结果 |
管理指标
| 指标 | 衡量内容 | 首要行动 |
|---|---|---|
| 延迟 | 事件发生到可用之间的时间 | 检查管道和队列 |
| 覆盖面 | 已接收项与预期项的比较 | 查找缺失分区 |
| 协调差距 | 源数据与输出数据之间的差异 | 查找过滤器、连接或重复项 |
常见错误
- 将缺失数据视为零
- 将成功执行与正确输出混淆
- 未加注释地更改定义
- 未进行去重的重放
常见问题解答
统计警报是否证明存在错误?
否。它只是标记差异以供调查。 实际的业务变更和技术故障都可能产生类似的曲线。
应使用哪个新鲜度阈值?
决策可以容忍的阈值,并记录范围和方法。 运营监控和月度报告的需求不同。
是否可以显示部分数据?
可以,前提是范围和部分状态清晰可见,并且用户可以区分估计值和最终周期。
应保留什么证据以进行有效验证?
保留版本、行粒度、筛选器、键和时间范围。逐行核对,分别检查重复、缺失和新鲜度。
时间线:UTC与时区
此语言版本的详细参考说明以英语提供。
A revised total needs its dated snapshot
Delay, redelivery and an identifier conflict have different effects. Comparing dashboards requires preserving the window, cutoff and records actually included.
- Normalize instants before sorting or calculating elapsed time.
- Keep event time and observation time separately.
- Explain snapshot changes without treating late receipt as a new event.
Read the 12 cases and three dated snapshots →
Sources reviewed on · IETF · RFC 3339 · Python · PEP 495 · Python 3.12 · zoneinfo · IANA · Time Zone Database 2026e · IANA · 2026e Europe rules · OpenTelemetry · Logs Data Model
syslog代码与采集证据
此语言版本的详细参考说明以英语提供。
Normalisation must preserve event meaning
In a distributed API, a PRI integer combines two codes. An opaque conversion may lose the message family or reverse severity. Test collection with identified events before inferring operational reliability.
- Keep facility, severity and raw value in separate fields.
- Distinguish source time, reception time and search availability.
- Expose rejected events, truncation, loss and conversion rules.
Read syslog codes and try the PRI calculation →
IANA · syslog Parameters · Registry updated 2016-04-26 · consulted 2026-10-23
ASD ACSC and partners · Best practices for event logging and threat detection · Published and reviewed 2024-08-22 · consulted 2026-10-23
连接基数、NULL与聚合
此语言版本的详细参考说明以英语提供。
Reconcile rows before interpreting a dashboard
A metric may change with identical source events: a join creates pairs, a filter removes rows and null measurements reduce contributions. Keep a reference at the source grain and inspect retained identifiers.
- Compare COUNT(*), distinct identifiers and non-null measurements.
- Inspect multiple matches before summing.
- Test the active predicate in ON and WHERE on an unmatched case.
Inspect pairs and aggregates in the workshop →
PostgreSQL 18 · Table expressions · PostgreSQL 18 · documentation reviewed 2026-10-23
PostgreSQL 18 · Aggregate functions · PostgreSQL 18 · documentation reviewed 2026-10-23
PostgreSQL 18 · Comparison functions · PostgreSQL 18 · documentation reviewed 2026-10-23
官方参考文献
参考文献支持该方法。 请根据您的实际情况调整检查;它们并非认证。 原始参考文献标题和源文档可能使用其他语言。
参考资料查阅日期 .
- Google SRE — Data Processing Pipelines
- Google SRE — Implementing SLOs
- PostgreSQL 18 · Table expressions and joins
- IETF · RFC 3339
- Python · PEP 495
- Python 3.12 · zoneinfo
- IANA · Time Zone Database 2026e
- IANA · 2026e Europe rules
- OpenTelemetry · Logs Data Model
- PostgreSQL 18 · Aggregate functions
- PostgreSQL 18 · Comparison functions
- IANA · syslog Parameters
- IETF · R. Gerhards · RFC 5424 · The Syslog Protocol
- ASD ACSC and partners · Best practices for event logging and threat detection
