联通大数据：大数据挖掘的本质和意义

xubin · 发表于 2022-2-22 11:10:26

　　?如今，大数据已成为人人都在谈论的话题，人们开始认识到数据中隐藏的宝藏和价值，纷纷采用各种技术，试图从海量数据中寻找出一定的规律，从规律中总结出知识，并基于知识为生产实践提供决策依据，最终提升经营效率，实现价值转化。数据湖的其他知识和内容也可以到网站具体了解一下，我们是领域内专业的企业平台，欢迎您的关注和了解！

　　当前，关于大数据讨论的一个热点，就是“相关性与因果性”之争。

　　维克托·迈尔·舍恩伯格在著作《大数据时代》中指出，相关关系比因果关系更重要，大数据时代最大的转变就是放弃对因果关系的渴求，而代之以关注相关关系。

　　贝叶斯网络之父朱迪亚·珀尔曾在因果关系科普著作《为什么》中说道，“沿着因果关系之梯，机器便有望拥有强人工智能”。如果能够建立起数据之间的因果联系，那么机器学习得出的结论也会更有说服力。

　　然而，对因果关系的探索，往往片面的认为给出无监督学习的可解释性是深入理论研究，探寻因果关系的有效途径。

　　在常态化缺乏先验知识的前提下，探寻大数据背后的因果关系真的必须吗？

　　一个经典的例子，沃尔玛基于大量小票数据的分析发现，只需要把尿布与啤酒放在相邻货架，就能同步提升二者的销售额。然而，隐藏在这个商业事件背后的社会问题则是美国大兵大小便失禁的故事。同一事件中关注者的不同，导致对物理世界的解读出现了差异性。“啤酒尿布”对沃尔玛带来了商业价值，对美国社会学家带来了社会研究价值。

　　在12月6日由中国计算机学会主办的BDTC-大数据时代的因果推断论坛上，联通大数据公司CTO宋雨伦博士通过对“啤酒尿布”的诠释，以信息熵作为载体，通过阐述模拟信号与数字信号之间相互转换，以及数据科学和软件工程的深度融合，从运营商角度揭示了大数据挖掘的本质。

　　他认为：“从数据中挖掘知识、产生价值是虚拟世界向物理世界的还原，而还原的粒度取决于观测者的视角。这正如数字信号向模拟信号的还原，还原的程度取决于不同研究者分析问题的目标。通过数据科学的方式方法去解决业务需求，则是物理世界向虚拟世界的抽象，而抽象的程度取决于手中的资源。这正如模拟信号向数字信号的转化，需要遵循Nyquist-Shannon采样定理，我们才能保留足够的信号特性。在哲学层面大数据挖掘的本质就是在'物理世界虚拟化、虚拟世界物理化'中探求目标点，而运营商则天然具备大数据挖掘的基因。”

　　在先验知识足够多、信息源足够丰富的情况下，我们更容易接近事物的本质、探索其中的因果关系及关联关系，进而取得价值。但即使再“知己知彼”，在装备实力相当的情况下，倘若只能“以一敌百”，那么探寻其中的因果关系、相关关系，又有什么意义呢？通过数据挖掘为不同的关注者提供不同视角的数据价值才是数据挖掘的核心价值体现。