近期为国内一家股份制银行数字部门、业务部门提供了为期三天的「敏捷分析培训」，当然这也是我首次为非 Tableau 工具客户提供的专业培训，得以一探国产 BI 背后的企业现实。
本文既是对课程讲授内容的基本总结，更是对讲解内容的进一步思考，希望帮助更多企业了解企业所处的数字化阶段及其前进之难点。
一、认知现状与行业发展需求之间的“鸿沟”
在培训开始之前，我首先收集了参加课程人员的需求，下面是大家填写的内容。第一需求当然就是“数据分析方法”（文本的大小代表输入次数COUNT），之后排名靠前的竟然是“数据挖掘”“数据库”和“SQL 进阶”。还有一些具有共同性质的是报表制作、分析展现、UI 设计等报表 Report 相关内容，以及 Excel 数据处理等。
而在后续的培训过程中，一睹银行内部的分析成果之后，让我大为惊讶的是，大部分人员已经深陷“如何更好地展现”不可自拔，却浑然不觉已深陷错误的迷途而不知返。当然，也许这就是群体和组织“力量”的双面性。
我之前虽然已经有“银行的数字化落后”的预料，但确实没有预料到会是如此这般摸样。
当然，这家银行的领导是具有前瞻性的，不仅力排众议在过去一年多时间力推 BI 平台和业务分析，生成了大量的可视化仪表板、移动端经营报表，而且高层也提出了“向 3.0 迈进”的数字化战略，主张数据分析不应该仅仅是图表而应该赋能业务决策。战略上的思考确保了过去两年大方向上，但是方法论和最佳实践的缺失使得企业的行动很快就触碰到了所有人及工具的“天花板”，然后困在通往 3.0 的路上。
于是，一方面企业构建了数字化的理想境界，另一方面卡在现实的困境中“动弹不得”。在现实和理想的方向之间出现了巨大的鸿沟，这个鸿沟是不恰当的职能分工、习惯性的取数习惯、孱弱的工具平台、“迎合性”的咨询公司等多个方面造成的。
1、IT 人员疲于应用业务用户的“无限需求”，忙碌而缺乏成效；业务用户没有成为分析的主力，大部分情况下等待“高度加工的数据”喂养以完成最后 1 米的展现。分析看似靠近业务一线，但是缺乏灵活性，甚至数据一致性难以保证。
2、错误的数据建模习惯侵蚀了 敏捷 BI 的空间，让 BI 蜕化成为了“取数工具”和“报表工具”，而非分析工具，导致数据查询碎片化、数据平台频繁报警、“数据堰塞湖”严重制约了进一步的数据分析效率和准确性。
3、DW 和 BI 之间分工失衡，DW 陷入数据的汪洋大海、BI 陷入“形式主义”的困境，作为分析核心的问题和指标被放在了错误的位置，导致分析失去了灵活性，对 BI 的认知和了解不足进一步“自缚手脚”，数据无法成为辅助业务决策的“权杖”。
可以说，我在培训中发现了大部分传统企业目前普遍存在的问题。幸运的是，这家银行虽然深处困境“十字路口”，但是并非深陷难以回头。如果能重建到 IT 和业务用户之间的边界感，构建以指标、问题、敏捷为中心的 敏捷 DW/BI 平台，不断提高业务用户分析能力，就可能在下一个两年时间迎来翻天覆地的变化。
二、信息技术领域的重点与“平民数据科学家”的兴起
在信息化和数字化的大潮中，几乎所有人已经对如下的事情形成了共识，它们是我们接下来讨论的起点：
- 真实世界和数据世界的边界，是各种软件应用程序、背后的数据库和建模技术。
- 数据世界和分析世界的边界，是分析及其相关的分析型数据库、BI 分析工具。
为了更好地理解上述两点，可以用如下的一个图来理解。它们既是数据库设计中“数据独立性”（data independence）的展现形式，也是企业中劳动分工的基础。随着企业数字化范围越来越宽广、业务用户的数据素养日渐提升，企业也应该不断重建 IT 和业务用户之间的“边界”，找到最好的配合方式。
在上述的架构中，最关键的是业务用户和 IT 专业数据的分工边界。传统上，和信息information、技术Technology相关的专业领域，都被视为 IT 或者信息部的“势力范围”，核心包含如下的部分：
- 从业务流程到数字化的模型构建和映射，其最终实现形式是企业的各种业务应用系统（applications）甚至平台（platform），比如 ERP（企业资源计划管理）、CRM（客户管理系统）、MES（制造执行系统）、银行EIS（电子联行系统）、PSS（航班服务系统）、航空GDS（全球分销系统）等等。这也应了网景创始人Marc Andreessen的那句名言“Software is eating the world”。事实上，各行各业的信息化交易系统，其实就是无时无刻不在服务人类的超级计算机服务。
- 从各类业务系统或平台中产生的大量数据Data，它们的存储、计算、管理、治理、安全、流通等相关的技术，并由此衍生成为企业的信息 information。随着数据量的快速增长，数据相关的技术路线越来越细化，比如数据库技术中衍生了分布式数据库、列式存储数据库、文档数据库、图数据库以及云原生数据库等，而大数据计算衍生了spark 批计算、Flink 流计算等不同路线。这一切都是搭建企业级运营数据库、数据仓库（Data warehouse）等的关键技术。
上述的两个专业领域，在过去十年间发生了翻天覆地的变化，如同芯片领域的摩尔定律一样，信息和技术正在以极快的速度迭代。那些率先掌握新技术的弄潮儿可以凭借国家之间、行业之间、区域之间的“时间差”获得技术的红利，并带动技术的普及。
在这个过程中，“技术平民化”也在加速，多年前被视为专业领域的 SQL 如今成为了很多岗位的入门技能；原本艰涩的C、Java 等开发技术也在 Python、Go、Swift 等技术及教育普及下为越来越多所掌握，他们成为白领、蓝领之外的蔚为壮观的“T 恤党”。而在业务分析领域，大量的“表哥”、“表姐”也从 Excel Hell 中觉醒，追随 SQL、BI成为“平民数据科学家”（Citizen data scientists）的一员。
如今的难点是，是否有足够多的领导意识、并助推这个趋势的成长，从而让更多的业务用户成为身兼数据、分析、业务的“复合型人才”？或者，虽然已经意识到这个趋势并开始发力，却为之配备了落后的工具、平台和“方法论”？
在众多的企业实践中，特别是在本次培训中，我深刻地意识到IT 和业务“最佳边界”，及工具的重要性。
三、IT 和业务分工的“职责边界”和工具赋能
1、IT 和业务用户之间的 push/pull 策略
在企业数字化过程中，可以借助于 IT 用户 和业务用户之间的边界来识别数字化阶段和水平。
在供应链中，我们常常用客户订单为中心，区分 pull 和push 两种生产推进策略。这个过程也可以出现在数据分析世界中，以业务问题为中心，IT 的策略是提供数据，不断推动业务用户找问题、做展现（push）；而业务用户的策略是以问题为引导，不断寻找数据、探究关系，拉动问题的最佳展现、交互并与业务决策紧密结合（pull）。难点在于，这个 push/pull 应该在哪个位置？是更靠近数据库呢，还是更靠近业务决策？
通常来说，业务用户在“数据生命旅程”中越深入，企业数据和业务的融合就越紧密，数字化程度也就越高。反之，IT 用户向数据决策方向的“势力范围”延伸越广，企业的数字化程度也就越低。
为什么会有这样的判断？主要基于如下两点前提理解：
1、业务用户是数据的创造者，也是数据最终的消费者。数字化转型的终极要义，是数据赋能业务用户提高运营效率、创造企业价值。只有数据和业务过程、业务用户深度融合，才能更好地实现这样的目的。
2、IT 用户对数据的加工过程，其首要目的是提高数据质量，确保数据的完整性、一致性和及时性，但是过度加工则会引发数据中遮蔽业务逻辑，从而阻碍业务用户“从数据到价值”的探索过程。IT 用户应该持续提升从业务场景到数据世界的“逼真程度”，但在数据赋能业务环节适当放权。
基于上面的理解，我们就可以根据业务用户和 IT 用户的交界点来判断企业的数字化程度。
最极端的情况是，IT 凭借自己对数据、信息的强势地位，把控数据的解释权，完成数据查询、数据加工和 数据展现的全过程。在很多传统的企业，会有规模庞大的 IT 部门和外包团队，它们承接内部各个部门的数据需求并排期交付，甚至发展成为公司内部的“独立王国”，最终冠以数科公司等名号。当前，越来越多的央国企正在成立数科公司，对内“承包”、对外“输出”，某种意义上是一种“逆市场化”过程，对中国软件和信息行业的发展长期而言难言好消息。
数据显示，约 80% 的央企已成立数科公司，数量累计达到 500 多家。
当企业深陷业务的“汪洋大海”，逐渐显出来力不从心的疲惫感，一些科技领导就会推动业务用户参与数字化过程，成立各种数据项目小组、数据精益中心，甚至数据共享中心等非正式组织，或者在信息部门之外单独成立数据部门。这是IT 和业务用户开始“确权”的开始——这里的权利是使用、分析数据的权利，而非拥有数据的权利。
2、“分析确权”和工具赋能
以我目前有限的观察，数据分析确权的基本依据是：抽象的部分归业务、具象的部分归技术。数据抽象的基本方式是“聚合”，而数据具象的基本方式是“可物化”。
IT 人员从“赋能业务用户”中可以获得显而易见的好处，因此这个趋势会不断加速，直到碰到业务用户能力的天花板。在这个过程中，很多之前的问题会逐渐缓解，包括：
- 数据碎片化和数据一致性难以保证：通过引入业务分析，指标落在数据模型上，而非物理表上，提高了指标的一致性，降低了数据库的查询压力。
- IT 用户回归擅长的数据底层，强化数据架构、数据管理、数据安全等领域，并以信息化手段全面覆盖业务领域，从而实现业务全面在线、甚至业务全面上云。
在这个赋能业务的过程中，最重要的工具，其实是构建企业级 DW/BI 数仓分析一体化的平台，并尽可能扩展业务用户的应用领域。最终实现抽象诠释全面归业务所有，分析赋能业务全面由业务主导。而阻碍这个过程的最大障碍，一个是工具限制，另一个则是认知局限。
目前我已知的 敏捷 BI 工具中，Tableau 是为数不多的可以承担 DW/BI 的工具平台，对于中小企业，它可以身兼数职提高数据的一致性；对于大型企业而言，它可以作为部门数据集市（data marts）和分析平台使用，提高末端的数据灵活性。目前 BI 普遍弱于数据引擎、数据管理，这又导致了数据和分析之间的割裂关系。
基于上述的数据理解，每个企业都可以在数字化的大潮中找到自己当前的位置，并在正确的路上迈向未来。
我越来越感觉到，影响很多企业数字化转型效率的，往往不是是否选择了合适的工具，而是是否走在了正确的方向上。毕竟在错误的路上，只会越走越远。既然已经有很多企业已经过了河，就没有必要再去盲目的摸石头了。
喜乐君
- Mar 16, 2024 初稿
- Mar 17, 2024 改进、增加配图