数仓建设：为什么我们的数据容易被业务方质疑？

0 问题背景

1 问题产生的原因

2 问题解决方案

3 小结

数字化建设通关指南专栏原价99，现在活动价39.9，按照阶梯式增长，直到恢复原价

0 问题背景

“ 在数字化建设进程中，无论是处于数据产品的你，或是数据开发的你，还是数据分析的你，相信对这一问题并不陌生，或多或少都会被业务方质疑过数据可信度的问题，有时候一个BI项目很难被认可或是推广下去，其很大一部分因数就是遭到业务方对数据的质疑，或是数据驱动决策的质疑。下面我将从不同的角度分析产生这一现象的原因和解决方案”

1 问题产生的原因

（1）产品视角：数据优先级低

产品在制定需求时，往往更重视直接影响用户体验的功能，而将数据统计需求放在较低的优先级。主要体现在：

1）在一个快速迭代的公司中，产品为了尽快推出新功能，决定推迟实现用户行为数据收集的功能，结果导致后期无法准确评估功能的影响力。
2）一款应用在发布后，产品发现比如用户流失率这一指标异常升高时，但由于没有及时的数据支持，难以快速定位问题和解决。
3）产品经理在需求文档中将数据需求放在最后，开发周期内由于时间不足，这部分需求被忽略，导致产品上线后没有有效的数据支持决策。

（2）开发者视角：数据任务缺乏技术挑战

对于开发者而言，他们更倾向于技术含量高的任务，而认为数据上报等是繁琐且缺乏技术挑战的工作。在职场上技术开发人员往往都有个通病就是喜欢技术含量较高的工作，而不喜欢一些繁琐的琐事和技术含量较低的工作，喜欢挑活干，而对于技术含量较低的工作，往往表现的态度不端正，过于浮躁，想尽快了事。这样便会导致以下几个问题

1）数据埋点缺乏耐心

一位开发者在进行数据埋点时，由于感觉任务重复且简单，导致没有仔细检查代码，引发数据错误。

2）使用过于复杂的技术架构（杀鸡往往用牛刀）

开发团队在一个复杂的数据处理功能中，为了追求技术的挑战，采用了过于复杂的架构，结果导致后期维护困难，数据常常出错。

3）忽略数据的准确性

一个经验丰富的开发者在实现一个数据分析模块时，主要集中在如何提高系统性能上，追求技术上的快感，而忽视数据的准确性和完整性。

（3）测试人员视角：数据的不可见性和逻辑复杂性

测试数据需求时，由于数据的不可见性和逻辑的复杂性，很难保证数据的准确性和完整性。主要体现在：

1）数据校验困难

一个测试工程师在测试一个复杂的报表生成功能时，由于缺乏有效的数据校验工具，无法确保报表的数据准确性。

2）数据追踪困难

在进行数据迁移测试时，由于缺乏透明的数据验证过程，数据在迁移过程中出现错误，但测试人员难以追踪到具体问题。

3）大数据量面临的挑战

测试团队在测试一个大数据平台的数据准确性时，由于数据量巨大且复杂，缺乏高效的测试工具，导致测试结果不可靠。

（4） 公司组织文化视角：缺乏数据意识

在很多组织中，由于缺乏对数据价值的认识，导致数据被忽视或错误处理，这种文化背景会影响到整个团队对数据的态度和信任。管理层不愿意数据投资工具，团队对数据不信任，最终导致决策依赖于个人经验而非数据分析。

主要体现在：

1）管理层的认知

数据分析是额外成本。这一点特别在传统制造业中体现的尤为突出，管理层认为数据分析是额外的成本，不愿意投资数据平台和工具，导致数据无法得到有效利用。

2）团队的态度

业务方的不配合或不愿意改变。业务方不愿意用新的工具，新的平台来填报数据，只愿意用自己熟悉的工具或方式解决问题，导致系统数据存在丢失，不完整。比如，一个销售团队不愿意使用CRM系统记录销售活动，导致数据不完整，进而影响销售策略的制定。

3）决策依赖

对数据不信任、倾向于个人经验。在一个项目回顾会议上，由于团队成员对数据的不信任，他们倾向于依赖个人经验而非数据分析来评估项目的成功与否，导致重复过去的错误。

2 问题解决方案

通过上面的分析，我们可以看到造成数据不信任的原因有多种。对于大数据开发者来说，提高对数据重视的意识，优化数据处理流程，是建立数据信任的关键步骤。

（1）从组织及数据文化层面来看

提升管理层和员工对数据的认知是第一步，其次建立数据驱动决策的有效机制和奖惩体系是提升数据信任的关键所在，比如可以构建数据治理委员会，权责到个人，构建部门业务目标及kpi，将kpi拉入到季度考核及年度考核中是部门行动的动力所在。

（2）技术工具视角：提升数据的透明度和可访问性

使用先进的技术工具来增强数据处理的透明度和可访问性，可以有效提高团队对数据的信任。主要体现在

1）实时数据监控

通过实现一个实时数据监控系统，团队能够即时看到自己工作的影响，这增加了他们对数据处理系统的信任。

2）数据质量管理

引入数据质量管理工具，自动检测和修正数据错误，极大提升了数据的准确性，从而增强了团队成员对数据的信任。

3）用户友好查询

开发一个用户友好的数据查询界面，使非技术背景的团队成员也能轻松访问和利用数据，从而提高整个组织的数据利用率。

通过这些改进措施，组织可以逐步构建一个数据友好的环境，其中每个成员都理解数据的价值，能够准确和自信地使用数据支持决策。这种文化和技术的双重改进不仅提升了数据的可靠性，也增强了整个团队对数据的信任。

3 小结

本文从多个角度分析了数据容易被业务方质疑，不被信任的原因，并给出了相应的解决方案，其关键在于提高组织文化中的数据意识，及采用可视化分析、数据质量管理等技术工具，增强数据的透明度和可访问性。

本文主要从五个不同的角度进行分析：

（1）产品视角：数据需求通常被排在低优先级，导致在项目进度压力下容易被忽略。

（2）开发视角：开发者可能因为数据任务缺乏技术挑战而不重视。

（3）测试视角：数据的不可见性和逻辑复杂性使得测试困难。

（4）组织视角：缺乏数据意识的组织文化会导致数据被忽视。

（5）工具视角：引入先进的技术工具可以增强数据处理的透明度和可访问性，从而提高团队对数据的信任。

原文链接：数字化建设：为什么我们的数据容易被业务方质疑？

如果觉得本篇文章对你还有点帮助，那么不妨也可以选择去看看我的博客专栏文章，里面内容更精彩。具体专栏内容如下（部分展示）：

数字化建设通关指南专栏原价99，现在活动价39.9，按照阶梯式增长，直到恢复原价

主要内容包括：
1 SQL进阶实战技巧

可以参考如下教程，具体链接如下

SQL很简单，可你却写不好？也许这才是SQL最好的教程

上面链接中的文章及技巧会不定期更新。

2 数仓建模实战技巧和个人心得

文章部分标题展示如下：
1）新人入职新公司后应如何快速了解业务？

2）以业务视角看宽表化建设？

3) 维度建模 or 关系型建模？

4）业务模型与数据模型有什么区别？业务阶段的模型该如何建设？

5）业务指标体系该如何建设？指标体系该如何维护？指标平台应如何建设？指标体系该由谁来搭建？

6）如何优雅设计DWS层？DWS层模型好坏该如何评价？

7）指标发生异常，该如何排查？应从哪些方面入手寻找问题点？

8）数据架构的选择，mpp or hadoop?

9）数仓团队应如何体现自己的业务价值，讲好数据故事？

10）BI与大数据有什么关系？BI与信息化、数字化之间有什么关系？BI与报表之间的关系？

11）数据部门如何与业务部门沟通，并规划指引业务需求？

文章不限于以上内容，有新的想法也会及时更新到该专栏。

具体专栏链接如下：

数字化建设通关指南_莫叫石榴姐的博客-CSDN博客