播客 > Ep. 161 - How to maintain data quality across systems
Ep. 161
How to maintain data quality across systems
Malcolm Hawker, Chief Data Officer, Profisee
Wednesday, February 01, 2023

本周,我们的嘉宾是Profisee的首席数据官Malcolm Hawker 。 Profisee是一个云原生的主数据管理解决方案,帮助企业解决数据质量和治理问题。

在本次演讲中,我们讨论了与数据管理相关的挑战,从系统之间的集成到标准化工作流程。我们还探讨了区块链如何通过更轻松地管理供应链合作伙伴之间的数据共享来影响数据治理。

关键问题:

  • 您如何分离数据管理中要完成的工作?
  • 每个平台和数据集的独特挑战是什么?
  • 网络数据移动器的集中程度如何?

音频文字.

埃里克:马尔科姆,非常感谢你今天加入我们的播客。

马尔科姆:谢谢你,埃里克,邀请我。我很高兴来到这里。

埃里克:是的,太好了。我真的很期待这次谈话。我们是一家非常专注于帮助我们的客户发现如何利用数据的公司,所以这是我一直在努力解决的一个话题。我认为,很明显,这是您今天在 Profisee 关注的主题。但从你的简历来看,你作为 Gartner 的分析师、Dun and Bradstreet 的架构师、Neustar 的 IT 高级总监,也从许多不同的角度涵盖了这一点。所以,你在职业生涯中担任过七八个高级领导职位,他们都从不同的角度接触过数据。是什么让您从那个职业生涯走到今天担任 Profisee 战略主管的职位?

马尔科姆:是的,直通线有一些不同的东西。这听起来很简洁。但是,其中之一,我真的很喜欢与公司合作,帮助他们解决非常非常困难的问题。问题越难,我就越被它吸引。那是我职业生涯的主线。但是当谈到数据时,我可能有点虐待狂,真的,真的,真的是问题的核心,我要朝着它奔跑。数据世界中存在很多问题。我们当然可以谈论那个。数据世界中存在很多挑战。但让很多公司感到有点困惑的是,从表面上看,这些问题往往看起来很简单。

你正在查看数据,你会看到两件事。一个是 Jeff Smith,另一个是 Jeffrey Smith。你想,好吧,好吧,他们可能是同一个人。那么,你确定吗?为什么同一个人有两条不同的记录,看起来可能是一样的,但也许他们不一样?你不是 100% 确定。这是一个与数据相关的挑战的一个小例子,公司实际上非常非常努力地应对这些挑战。

数据空间之外的人可能会看着它说,“好吧。好吧,这看起来并不难。这有多难,或者让系统 A 与系统 B 或这些类型对话有多难东西的?”但解决这些挑战才是我真正要做的。这一切都在我的 DNA 中,它贯穿了我的整个职业生涯,无论我是在一家市值 20 亿美元的上市公司经营 IT 组织,还是担任顾问、独立顾问,或者是否正在工作对于一家销售这些问题的解决方案的软件公司。

The through line 一直在与大公司合作,帮助他们弄清楚如何将数据从负债(对大多数公司而言通常是负债)转变为资产。整个想法是让数据成为新的石油,成为数据驱动的。使用数据作为杠杆,使自己在竞争中脱颖而出。至少在过去的 20、25 年里,这确实是我职业生涯的一贯主题。

埃里克:是的,这是一个很好的观点。因为当数据首先从消费者、工厂的传感器收集时,你是对的,它首先是一种责任。它位于数据中心。它具有知识产权含义。它具有隐私影响和网络安全影响。所以,它基本上是一种负债,但它也有价值。这是看待这里挑战的好方法——你如何从责任转变为挑战?

我们早些时候聊天时,您提到在 Gartner,您在过去几年中审查了大约 1,500 家与数据管理相关的公司。应对这一挑战的公司情况非常复杂。在您之前担任分析师的角色中,您如何细分?您如何看待数据管理中要完成的不同工作?

马尔科姆:是的,信不信由你,那里有很多工作要做。我讲的故事,至少从数据的角度来看,是我在机房工作。我们在数据管理领域工作,对于许多公司而言,数据管理属于 IT 组织,通常在 CIO 或某些 (CDO) 首席数据官的领导下,这种情况越来越多。

当我们审视数据管理和数据相关挑战的世界时,我们可以将其分解为几个不同的部分。其中之一是数据集成,将数据从系统 A 获取到系统 B。我之前使用的示例是让系统相互通信。让两个系统使用同一种语言的最简单方法是让它们的数据在它们之间保持一致,并且可以很容易地在它们之间使用。因此,数据集成的世界。另一个世界是数据质量。您如何确保系统中查看的数据、报告中查看的数据或最终客户使用的数据是可信的、一致的、准确的、唯一的?它们都是数据质量的属性。

另一个世界是这个叫做主数据管理的东西,Profisee 以此为生。主数据管理解决了众所周知的单一事实来源问题。如果我正在查看两个记录,Jeff Smith 和 Jeffrey Smith,我怎么知道哪一个是准确的?我能否创建所谓的黄金主记录,在整个组织中使用它来做出更好的决策或使报告更准确?所以,还有其他世界。有商务智能。有分析,商业智能和分析,报告的创建。毫无疑问,现在很多大型组织都有数据科学。

所以,当你把所有这些都放在一起时——就会有元数据管理,这将是关于数据的数据。我们在数据世界中是如此具体。我们甚至有一个独特的词来描述关于数据的数据。这肯定是数据治理,也就是与您的数据相关的政策和程序。你能保留多久?你把它存档在哪里?谁可以创造它?谁有权查看数据?与如何定义数据、数据对象相关的规则是什么?您如何定义数据中可能存在的关系、数据中的层次类型关系的规则是什么?

所有这些共同定义了数据管理的世界。像我这样的人和其他数据专业人士试图找出这些问题的艰难答案,这些问题是如何让所有这些东西发挥作用,以及如何在组织内无缝衔接,以便组织做出正确的决策,而且从操作的角度来看,它已经完全优化。

因为每家公司所做的一切——每个应用程序、每个业务流程、制造过程的每一部分、供应链的每一部分——都在数据上运行。如果其中任何一个是错误的或不好的,那么你就在做出错误的决定。您的运营不是最理想的,或者制造工厂甚至可能完全关闭。数据是所有公司中所有组织的生命线,以确保数据准确、可信、一致且得到妥善管理,并在整个组织中深度集成。这就是我谋生的工作。

埃里克:好的。伟大的。所以,这给了我们一个很好的背景。也许我们可以在这里钻探到您关注的区域。

马尔科姆:是的。

埃里克:真相的来源。也许一个起点是你正在处理什么样的数据。您是否正在处理更传统的数据库数据,在其中标记等等?您是否还处理可能位于数据湖或非结构化数据中的数据?您可能使用的数据集是否有范围?

Malcolm:是的,所以,并非所有数据都是平等创建的。主数据是对在整个组织内广泛共享的数据在提供时需要特别注意的高级确认。典型的例子是与您的客户相关的数据。几乎每个人都会以某种方式、形状或形式处理客户数据。销售将使用客户数据来制定销售建议。很明显,营销操作人员对与客户相关的数据感兴趣。他们想要什么?他们不想要什么,等等?制造业甚至关心客户数据,因为他们正在努力满足客户的需求。

客户有一个线程、一个数据元素、一个数据对象,正如我们所说的那样,它被广泛使用并在整个组织中广泛共享。因此,当数据在整个组织内广泛共享时,需要对其进行一致的管理。意思是,它必须以一致的业务规则为核心。甚至像定义这样的事情,我如何定义客户?市场营销可能想称其为客户一回事,而财务可能想称其为客户完全是另一回事。解决这些差异,或者甚至接受这些差异,但至少承认它们并管理它们。

主数据是在整个组织内广泛共享的数据。但这不是所有数据。它实际上是有限的。诸如客户、供应商、位置、资产、材料、其他数据点和其他数据对象之类的东西被广泛使用,需要以更一致的方式进行管理,并且需要在工作流程、流程和系统中深度集成都在消耗这些数据。我刚刚向您描述的称为主数据。同样,它需要特殊规则,因为它被广泛共享。

组织中的其他数据可能只存在于一个应用程序中。我们不会考虑那个主数据。这可能非常非常重要。它可能是特定业务流程的关键数据。但只有当它只被一个部门,或者一个区域,或者一个数据库,或者一张表使用的时候。它不必具有在整个组织内共同定义和管理的规则。因此,这就是我们在主数据和非主数据之间划清界限的地方。 Profisee 所做的是销售用于管理主数据的软件解决方案平台,您可以在其中拥有一致的数据管理规则,可以让数据在整个组织中深度集成,具有一致的治理和质量标准主要的数据。

并非所有数据都是平等创建的。有一个独特的数据子集,称为主数据。它需要特定的规则和特殊的规则,以便它可以在整个组织中广泛使用。在非常非常高的层面上,如果您的 CEO 问我们有多少客户,那么答案真的只有一个。这就是关于单一版本真相的想法。在组织的更高级别——首席执行官、首席财务官——这个问题实际上只有一个答案。这就是主数据真正有用的地方。

埃里克:好的。我知道了。也许我们可以把我的公司作为这里的一个缩影。

马尔科姆:当然。很好。

埃里克:作为精品咨询公司,这可能是最简单的公司。您可以认为我们拥有 CRM。那里的数据结构相对良好。但是,我们仍然有重复项。有人去开会,遇到某人,把他们放进去。那个人已经去过那里了。所以,现在我们有一个副本。然后我们可能会将其提取到电子邮件工具中以发送我们的时事通讯。我们将其整合到一个事件管理工具中来管理我们的社区。突然间,我们有了不同工具的人。尽管我们是一家很小的公司,但我们在管理这些数据方面已经遇到了问题。如果我们简化,使用 Profisee 来应对这一系列挑战会是什么样子,只是处理客户和与客户相关的人?

Malcolm:要记住一件事,MDM,主数据管理既是名词又是动词。您可以从我们这里购买,也可以从 Gartner 的 MDM 魔力象限中的许多其他公司购买。所以,它是一个软件平台。它是一种软件解决方案,但也是一种管理数据的方式。这是一门学科。首先,MDM 确实是一门学科。

对于相对较小的公司,从软件的角度来看,可能有点矫枉过正。 MDM 解决方案将以数万美元为起点。最后,他们可以从那里快速上升。通常情况下,我们会看到,当一家公司达到某个收入点时——这里没有神奇的数字,但一般来说,至少有数亿美元的收入——公司开始变得相对大,成本在哪里从手动数据管理开始变得过度。因为对于像您这样的公司,您的系统之间存在差异,或者您的 CRM 中可能有一些记录与 ERP 系统或某种收入确认系统中发生的事情不一致,您可以手动解决这些问题。您的整个组织不会因此而瘫痪,也不会因此而完全放慢速度。

您仍然会按照 MDM 作为一门学科来做一些事情。例如,您可以制定一些政策,可以说,嘿,这是我们的客户命名标准。或者,您需要执行以下操作以确保您不会在我们的 CRM 中创建重复的联系人。您可以实施一些流程和政策,这些流程和政策往往是相当手动的,但至少可以帮助解决这种情况。或者,当您确实遇到重复项时,您可以执行以下操作。你不删除旧的。也许您只是创建一个新规则,或者任何最适合您的组织的规则。

对于相对较小的公司,这就是他们解决问题的方式。也许他们会创建一些单独的电子表格,它是 CRM 之外的某种新主人,或者任何最有效的政策。同样,对于相对较小的公司,他们可能只是手动解决这些问题。

但是,一旦公司达到一定规模,您描述的问题就会变得非常繁重,并且会减慢许多不同的运营流程。一个很好的例子是,也许客户服务代表正在使用完全相同的 CRM 系统。一位客户带着问题打电话进来,想开一张故障单。客户服务代表说:“好的。谢谢。你为谁工作?”好吧,我在 ACME Incorporated 工作。

他们在 CRM 中搜索 ACME Incorporated。他们找到 15 家 ACME Incorporated。他们会说,好吧,哪一个是正确的 ACME Incorporated?我在这里看到 15 条相同的记录。我不知道这些记录中的哪一个与斗争票有关。如果我想查看正在呼叫我并需要我支持的该实体的客户服务历史记录,我不知道该查看哪一个。当公司达到一定规模时,这些与数据相关的问题可能会产生非常非常大的影响,并且会减慢客户服务体验或阻碍客户服务体验。它们会阻碍制造过程。

一旦公司通常达到这种规模,并且他们开始意识到他们不能在这个问题上投入更多的手动流程,他们不能只是继续投入身体或流程和程序,他们将不可避免地转向利用像这样的软件Prosee 尝试将其中一些解决方案自动化。

因为 Profisee 可以查看并看到它。哦,听着。你这里有 15 个 ACME。让我们配置一些基本业务规则,以便您的 CRM 代理只能看到一个。即使您在数据库中可能仍然有 15 个,但代理会看到的是那个。或者,也许您真的想将这 15 条记录合并成一个单一版本的事实。有很多不同的方法可以解决这个问题。这些就是所谓的 MDM 的不同风格或实现风格。 Prosee 可以支持所有这些。这实际上取决于您的业务需求。但我们住的地方通常是收入在 2 到 3 亿美元左右的公司,最高可达 3 到 4 到 50 亿美元。这就是 Profisee 的优势所在。

超过 50 亿,进入非常大的公司,我们不倾向于在那里玩太多,至少从营销的角度,从客户的角度来看。我们确实有一些非常大的公司,但我们的最佳选择是中型公司,这些公司正在努力处理对 MDM 来说可能相对较新的数据,这些公司正在寻找易于使用、快速实现价值的解决方案。这些是我们的最佳客户。通常,通常在医疗保健和制造业或金融服务业开展业务。从解决方案的角度来看,这是我们真正倾向于发光的三个垂直领域。

埃里克:如果我们看看这三个垂直领域,它们是否各自面临着截然不同的挑战?挑战是否倾向于围绕特定平台或数据集?

马尔科姆:好吧,从根本上说,所有问题的核心都是一致的,也就是说,公司往往会随着它们的成长和功能上的一致性而变得越来越好,营销和财务都存在。随着时间的推移,公司自然会发展出这些孤岛,其中营销做事的方式与财务做事的方式不同。那是自然的。所有公司(无论是制造公司还是医疗保健公司)普遍存在的核心问题是数据孤岛往往会自然演变,您将拥有一个系统中存在而另一个系统中不存在的数据桶,或者也许它们甚至被复制了。您甚至可能不知道,您的数据管理不善、复制不当、不一致或不准确。随着公司的成长,这些事情自然会发生。

现在,在这些垂直领域中的每一个中,都有不同的词来描述一些相同的事物。在医疗保健领域,它与患者相关的数据有关。它不一定是与客户相关的数据。标签不同,但数据看起来非常相同。病人是一个人。如果您是一家 B2C 公司,那么客户就是一个人。他们都是人。

从命名的角度和过程的角度来看,事情往往有点不同。显然,在制造领域——但处于所有这些核心的是这些名词,这些核心名词。在制造业领域,它是间接支出的供应商或供应商,或者是材料,或者是资产。在医疗保健领域,这就是付款人。意思是,保险公司。提供者意味着医生。大型医疗保健公司的其他所有人,包括患者等等。所以,很多数据看起来非常非常相似。许多核心业务挑战看起来非常非常相似,尽管业务流程可能略有不同,尽管这些词对事物的定义可能略有不同。

埃里克:好的。让我问一个问题。如果我们查看您正在使用的程序,也许我们可以在这里了解一些差异。所以,客户关系管理。每个人都会有某种形式的 CRM。它们往往是相对标准化和相当整合的行业。然后,如果我们进入 SaaS 进行销售支持或其他事情,突然间,我们就会有很多程序。它们可能只在区域范围内使用,等等。因此,标准化要少得多。所以,我们有那个。这是一个挑战领域。

我可以想象的第二个领域,如果我们专门以医疗保健为例,我们有合作伙伴。所以,有一家医院。有保险公司。他们都在谈论同一个人。那么,您就会遇到跨公司整合的问题,而不仅仅是在公司内部。因此,这可能是集成之间的另一组挑战。

您能否快速介绍一下您将与之集成的不同平台(CRM、SaaS 等)?你不会做的事情是什么?我不知道。也许是一个 Excel 文档,你会说,好吧,我们没有搞砸它。但显然,人们将重要数据存储在 Excel 文档中。就系统而言,什么超出了范围,然后如果我们查看您公司内部的数据与您仍然需要对齐的客户、供应商或合作伙伴的数据的问题?

Malcolm:根据定义,像 Profisee 这样的 MDM 软件平台确实需要能够在很大程度上集成到任何东西。如果我坐在白板前,我正在画这个,我要画的是屏幕底部的三个数据库。数据库可以是 Excel 电子表格——是的,数量惊人的公司完全在 Excel 中进行大量关键数据管理——或 Access。是的,这仍然会发生。但是您在数据库或表中会有多个数据源。它可以是一个应用程序。它可以是一个单独的表。没关系。 CRM、ERP、营销自动化系统、采购系统、人力资源相关系统,应有尽有。 MDM 解决方案可以使用数据或可以集成到几乎任何来源。通常,这里的架构是,您将拥有多个数据源。这些将是我要绘制的图表底部的三个数据库。

位于这三个数据库(或四个、五个、六个或任何其他数据库)之上的将是 MDM 数据中心。 MDM 解决方案是数据中心。他们所做的是从源系统中取出有限数量的数据,复制这些数据,然后将这些数据保存到某种形式的集线器中。因此,我们将从 CRM 中获取数据快照。我们会将其从 ERP 中取出。我们将从营销自动化系统、人力资源系统中取出它。无论您在哪里需要,无论该公司在数据层面上以虚拟方式将这些系统集成在一起以创建真实的通用版本,MDM 系统都会取出该数据,对其进行复制、管理并将其保存在数据中心.

然后 MDM 将做的是查看该数据,并将一些一致的业务规则应用于该数据。因此,这就是数据治理发挥作用的地方。这些是您要应用于此数据的政策和程序,以允许您创建单一版本的事实。这甚至可以是这样的事情,好吧,解决数据差异和重复的业务规则是什么,也就是我如何定义唯一性,比方说,B2B 记录,ACME Incorporated 的记录?我该如何定义它?我怎么知道什么时候 ACME 是独一无二的? MDM 拥有非常棒的,这些非常强大的、算法驱动的软件,可以评估大型数据集。我们可以做一些事情,比如看看它是 Jeff、Jeffrey 或 JJ,还是 ACME Inc.、ACME Co.、ACME & Son、ACME LLC。我们可以弄清楚这是一件事还是四件事。如果是一件事,那么我们可以做的是,“啊哈,这是一个主记录。我们将创建一个新的主 ID,将所有四个源 ID 链接在一起。”我们可以虚拟地将它们链接在一起并继续保留源记录,或者我们可以实际将这些记录合并在一起,如果这符合组织的运营模型。

创建这个单一版本的真相并坚持单一版本的真相就是 MDM 的全部意义所在。一旦你得到了那个版本的真相,你就可以用两种不同的方式使用它。它会一直存在于 MDM 中心。因此,您在过去获得了 ACME Incorporated 的四项记录。现在你有了一些新的主记录,可能是第五条记录。您可以通过两种方式使用它。第一,你可以用它来推动分析,你可以作为一个组织说,嗯,你知道吗?在所有这些系统中有四个不同版本的 ACME,我们知道这一点。但我们真正想做的是创建 ACME 的 360 度视图。我们不一定需要更改源数据。我们希望市场营销继续管理 ACME,就像它管理 ACME 一样。这更多是我们从大型制造公司看到的情况,其中每个单独的运营单位或部门都希望自治,并且他们希望继续以他们想要的方式管理他们的客户关系。

你可以说的是,我确实有一份 ACME Incorporated 的主记录。我想用它来创建我们与 ACME 关系的 360 度全方位视图。我可以使用链接到这些源 ID 的新主 ID 来提取每个源中的每一点信息,并创建 ACME 的 360 度视图。所以,这就是 MDM 的一种用途。它是为任何事物创建高度可信、一致、准确、高质量的 360 度视图,无论是员工、资产还是位置——在本例中为客户——这就是 MDM 的一种用途。

另一种用途是我们称之为 MDM 的更多操作风格,一旦您创建了黄金主记录,您就可以转身并将其从原来的位置推回到源系统中。所以,你实际上可以从,好吧,之前,我称之为 ACME Inc.,但它的正确名称是 ACME LLC。作为一个使用 ACME 数据的系统——例如 CRM 系统——你可以说,“啊哈,我以前的数据不正确。现在我要使用这个正确的数据,这样我的客户就会看到他们的名字正确地反映在销售提案上。在实际确认收入和 ERP 系统等方面,我们将能够使用正确的法定名称。”

您可以使用 MDM 系统创建和管理的数据进行更好的分析。您可以将它实际用于操作系统中,在这些系统中您使用 MDM 作为与 ACME 相关的信息的真实来源。希望这是有道理的。

埃里克:是的,我认为这是有道理的。只是一个澄清。你提到你正在拉快照。我想,对于您提到的第一个用例,您可能每季度一次,每月一次在报告样本中提取快照——

马尔科姆:或者实时。

埃里克:是的,那就是那个问题。这是实时连续完成的,还是通常按计划进行的?数据提取是什么样的?

马尔科姆:这取决于。我无法告诉你我去过多少次——特别是,作为一名顾问,你坐下来。你开始谈论我提到的那些每个人都想要实时的分析用例。然后你再问和探究一点。好吧,使用它的应用程序和使用它的报告系统甚至可以实时使用数据吗?好吧,不,他们不能。我们实际上倾向于每天运行我们的报告。好的。

但是如果你想实时运行,你完全可以实时运行。一旦您在 MDM 中创建、管理和保留了这个黄金主记录,MDM 系统就非常非常擅长从任何地方使用数据。他们非常擅长将数据发布到任何地方。因此,您通常可以通过 API,通常是通过 RESTful API 推出这些数据。我们正在进入技术领域。或者,您可以通过 Kafka 或其他流式传输它。您可以将该数据推送到报告流中。您可以将其推送到 CRM 系统中。您可以根据业务需要随时执行此操作。它可以是实时的。可以批量。这仅取决于用例。

在您使用该信息的一些客户驱动的用例中,我举的例子是支持客户服务查询,也许您正在使用该信息做出必须实时发生的营销决策。意思是,我想为访问我们网站的这个人提供什么广告?或者,我想让这个客户看到什么内容?这更像是一个实时决策,某种数字营销平台或营销自动化平台会提取数据或提取 MDM,然后说,好吧,好吧,谁是客户?客户 ID 是什么?当然,更多的是实时用例的收益。但是 MDM 的其他操作用途可能并不迫切需要实时访问该数据。也许它更像是一个批处理驱动的过程。所以,这只是取决于需要。但是像 Profisee 这样的 MDM 系统可以支持任何一种用例。

埃里克:让我们谈谈这里的利益相关者。您提到了几个用例。我想还有——感觉必须有人参与质量检查或感官检查。我们真的在识别正确的标识符吗?那么,问题来了,谁在买这个?谁是买家?谁是系统的所有者?那么从分析的角度还是从运营的角度来看,用户是谁?

马尔科姆:是的,这是一个很好的问题。通常,这些解决方案属于某种更广泛的数据管理堆栈。我提到了其他一些解决方案:数据治理、数据质量、数据集成、BI 分析。通常,无论谁管理您的报告平台——您的 Tableaus、您的 Bersih、您的 Qliks 或任何报告平台——通常,该组织都是管理和维护某种形式的 MDM 解决方案的组织。同样,通常在 CIO 或 CDO 的领导下。

我们经常看到的是,公司会发现他们遇到了 MDM 问题。通常,起点是报告问题。好吧,我们会看到,一些高管会得到一份报告。他们正在查看一份报告,他们会看到 ACME 两次。或者,某位高级管理人员正在查看其他一些数据点。他们看到的是他们知道该数据不正确。 “ACME 上周更改了名称。为什么我要查看这些旧数据?为什么我要查看不一致的数据?为什么我会根据数据从哪个系统提取相同的问题而得到两个不同的答案?”这些都表明了与 MDM 相关的挑战。

所以,这些高管会去找 IT 说,“嘿,IT,我的报告坏了?修一下。”然后 IT 人员会这样看待它,“好吧,你知道吗?报告系统实际上工作正常。它按照规范工作。它正确地提取数据。它在正确的键上聚合,我们的团购和分类购买. 我们分析平台上的一切,看起来都很棒。”但是当你查看源数据时,就像是,“哦,我们在源数据中遇到了问题。我们遇到了一些问题。我们让 ACME 出现了两次。它可能不应该出现两次,因为这里真的只有一个顾客。”那尖叫着 MDM。

通常,CDO 或 CIO 会出去。他们会联系 Profisee 或其他数据管理供应商,然后说,“嘿,我遇到了这个问题。你能帮忙吗?”通常,这里的主要利益相关者在我们所说的房子的业务方面。它是销售、市场营销或财务部门的人员。是供应链中的人,采购中的人试图优化他们的供应商支出,制造业中的人也是如此。任何在业务方面从事营销、销售、在组织中制造任何东西的人,都是 MDM 的利益相关者。因此,从软件的角度来看,这些往往是相当复杂的购买。他们不必如此。

可以有一个利益相关者组。例如,在管理诸如总账代码之类的事情时,财务主管通常会使用 MDM 来获得单一的事实来源。可以有单一的利益相关者团体。但通常,就其本质而言,MDM 往往是跨职能的。因为 MDM 倾向于做的是,它发现并突出显示不同功能之间的断点。

一个经典的例子就是我们一直看到的。客户数据在 CRM 中的显示方式与客户数据在 ERP 中的显示方式不同。因为一个是“卖给”,另一个通常是“收单”。它们不一定必须完全相同。 “销售给”和“收单给”可以是同一个公司实体,但也可以是不同的部门。可能是不同的部门。他们都是对的。但同样,如果 ACME Incorporated 实际上只有一个记录,您不希望有两个不同的记录,或者至少您不希望在更高级别注册并创建这些汇总报告,这些报告将提交给您的 CFO 或 CEO,你对同一个问题有两个不同的答案。利益相关者群体广泛。他们是多种多样的。他们可以跨越整个组织。他们甚至可以将拥有重复员工记录的 HR 包括在内。但是部署和管理解决方案的内部组织往往是 CIO、CDO。

现在,在所有这些中间——利益相关者之间和 IT 之间——这些软件解决方案非常聪明。他们很能干。你在这里提到了人工干预。我们的算法非常好。埃里克,你说的太对了,有时候人类确实需要在这里进行干预。有时,算法会说我们认为这两个 ACME 记录是相同的。我们读到 60% 或 70% 的置信水平表明它们是相同的。但也许用例是财务用例、法律用例或合规性用例,其中 70% 还不够好,您确实需要有人审查该记录。我们称之为数据管理。

通常,这些数据管理员最好住在房子的业务侧。你会有销售人员、市场营销人员或财务人员了解这些业务流程并且相对了解数据,以帮助对其中一些内容进行人工监督。有时,数据管理员可以住在 IT 端。但通常情况下,他们会住在房子的商业区。这里有合作。 MDM 是 IT 之间和业务之间的协作。你需要两者。您还需要同时参与管理、配置和设置其中一些业务规则。 IT 将与业务利益相关者坐下来说,“嘿,我们想通过拥有两个不同版本的 ACME 来解决这个问题。为此,我们需要对客户有一些一致的定义。”

我知道这听起来有点疯狂,但不管你信不信,公司真的很难对客户有一个一致的定义。市场营销如何定义客户与财务通常如何定义客户不同。但是要实施 MDM 解决方案,您需要开始管理和配置其中一些业务规则。所以,这就是治理,某种形式的数据治理委员会将发挥作用的地方,人们将坐下来,他们将开始讨论诸如我们如何定义客户之类的事情?我们如何定义我们的关系?哪些数据对我们很重要?哪些数据对我们不重要?管理这些数据的各种规则是什么?如果我们确实创建了单一版本的真相,谁有权更新它?在什么系统中,在什么条件下?这些政策通常都属于数据治理委员会的某种保护伞,是某种形式的数据治理政策,需要在提供过程中始终如一。

这是一次合作。是 IT 和业务利益相关者。通常,IT 花钱为业务利益相关者解决问题。一旦解决方案被集成,它就是一种持续的协作行为,包括通过所谓的数据管理员小心地提供数据。

Erik:这提出了另一个具有挑战性的领域,即跨区域管理数据的主题。我坐在中国这里,这是它自己的野兽。公司有无数令人头疼的问题,试图弄清楚他们可以和不能将哪些数据从中国转移到其他市场。我认为其他地区也有自己的问题。欧洲在个人身份信息方面有自己的一系列挑战。 MDM 的中心化程度如何?它倾向于部署在区域部署的一组规则中,还是您的目标是根据需要设置例外情况的全球规则?

马尔科姆:是的,这是一个很好的问题。 10 年前,15 年前,MDM 往往就像我所说的那些数据中心。它倾向于在本地部署。您将根据本地数据持久性和道路规则采用相当区域化的方法。例如,在欧洲或德国,如果您要管理与人相关的数据,则该数据需要在某个地方保留。通常,在 10、15 年前,您会看到相当区域化的方法来解决这个问题,其中数据将在需要持久的地方持久存在。如果您有一个在加拿大运行的实例,那么您也会有一个在德国运行的实例,等等。

现在,如果您愿意,我们的解决方案仍然可以在本地运行。如果您希望它在本地运行,我们的一些客户仍在使用本地解决方案。但我们现在完全支持 SaaS。我们几乎可以在任何云中运行,并支持有关数据需要持久保存的任何操作要求。

从运营的角度来看,它们只是,就像,数据实际存在于何处?我们确实有一些客户将数据存储在美国版本的云提供商、欧洲版本的云提供商或其他本地实例中以支持特定国家/地区的合规性规则。这很常见。但从运营的角度来看,我们可以支持任何部署模型。

事情变得更具挑战性。从业务流程的角度来看,集中化与分散化问题确实变得更具挑战性。数据库实际所在位置的操作,这是比较容易的部分。这真的是最简单的部分。困难的部分是将不同的团体聚集在一起,就一致的数据管理规则达成一致。因为从历史上看,我们通常看到的是——我会给你一个非常非常好的、最近的、令人心酸的例子,那就是在制造领域,很多公司,非常非常大的公司,都有本地制造业务。他们会在 A 国、B 国、C 国生产商品,以满足当地的需求。好吧,大流行病随之而来。随之而来的是随之而来的一切,以及所有这些大规模的供应链中断。长期以来,公司一直在使用高度分散的数据管理和制造管理模式。他们很好。然后他们不是。

突然间,很多公司——这是我在担任 Gartner 分析师时进行的很多对话。公司会打电话给我说,“嘿,我们需要更集中地管理我们的数据,因为我们需要更广泛地了解与供应链相关的业务风险。我们确实受到了其中一些供应链的负面影响中断。我们希望继续在本地运营。但至少从数据的角度来看,我们希望对数据进行更多的集中处理,这样我们至少可以了解正在发生的事情。以前,我们基本上是盲目驾驶。或者,在我们撤回报告之后,一切都很好。但现在这种模式不再适用了。”

当您从高度分散的工作方式转变为至少稍微集中一点的工作方式时,您会发现它会在组织中造成很多以前没有的压力断裂。因为它以前不必在那里。您开始不得不提出问题,好吧,如何创建企业范围内的供应商定义或企业范围内的供应商定义?您如何以更集中的方式创建与您需要的数据相关的所有业务规则?这是困难的部分。

简单的部分是从操作的角度和数据库管理的角度弄清楚。这是最简单的部分。困难的部分是弄清楚所有这些业务规则。我曾与一些超大型全球制造公司的高级管理人员交谈过。我们甚至在考虑在公司层面雇用谁。在这些大型制造公司中,谁是 CDO 或 CIO,或者为 CDO 或 CIO 工作?我们甚至难以访问本地数据。更不用说,甚至到了就必须有一个共同的供应商定义进行对话的地步。即使只是访问数据也是一个挑战。所以,这是困难的部分。

埃里克:是的,太好了。谢谢。这说得通。它反映了我们每周在这里经历的许多令人头疼的问题。

马尔科姆:我敢打赌。

埃里克:有一个有点离题的问题,我不得不抛在那里。因为我知道您最近发布了一份白皮书或者一篇关于区块链对数据治理的影响的文章。这是一个引人入胜的话题。我觉得区块链是一种专为数据治理而设计的技术。然后人们发现你可以用它来赌博,焦点立即转移了。但是数据治理似乎有一个真正的用例。那么,您对此有何看法?

马尔科姆:嗯,这很有趣。我最近在福布斯上发表了一篇关于此的文章。文章的标题是,区块链将如何拯救数据治理。我刚才谈到的一切——通用供应商定义或管理数据的通用业务规则,这就是数据治理。我之前描述的用例是一个完美的例子,一家大型跨国制造公司正在努力实现更加集中化。不完全集中,但可以说更集中一点,至少从数据的角度来看是这样。

好吧,我碰巧认为区块链是一个完美的用例。我现在正在参加的会议——我正坐在华盛顿特区的酒店房间里。我来这次会议是为了展示我对区块链如何在我们的领域真正有用的想法。但实际上,这里的问题不是技术。问题是业务流程。真的,当你剥洋葱时,这里的问题是数据共享。在非常、非常、非常高的层次上,区块链非常棒而且可以——我认为它会在数据治理和数据管理领域带来真正的变革。但要做到这一点,您必须接受在点对点生态系统中共享数据的想法。

在比特币的世界里,你想这样做是因为它是货币。当每个人都遵守相同的道路规则,并且当每个人都同意这就是交易的验证方式,这就是交易的意义,这就是区块的意义时,就会存在网络效应。如果我们都以相同的方式一起行动并遵守相同的业务规则,那么一切都会得到更广泛的采用。这东西会升值。我们都会成为万亿富翁。这在那个世界上太棒了。但在商业世界中,要创建点对点的数据共享网络,这将是一个真正的挑战。我仍然认为这将是变革性的。我认为区块链将有助于促进这些广泛的数据生态系统,但我们必须让公司渡过共享数据的难关。

我最近读了一篇关于 IBM 和马士基合资企业的文章,他们不久前宣布了名为 TradeLens 的合资企业,他们在其中讨论使用区块链来促进复杂供应链生态系统之间的数据共享。当时,我实际上是在参加 IBM 会议——它叫做 Think。六七年前,正是在拉斯维加斯——IBM 和马士基的首席执行官实际上宣布了这一点。就像,伙计,这太棒了。这是变革性的。这可能会改变游戏规则,因为与全球供应链和集装箱相关的物流是多么笨重。对海运集装箱有一致的定义,知道它们在哪里,从哪里开始,从哪里结束,以及完整的血统,正如我们所说,在数据世界中,任何项目的完整来源以及它在预算中的位置。在区块链可以为我们提供的完全可见性和完全透明性中,伙计,这将改变游戏规则。然后上周,我才得知他们正在终止这种伙伴关系并放弃它。

我确实认为区块链将具有变革性。我确实认为,在广泛共享数据方面,企业界有一些障碍需要克服。因为这就是我们最终要谈论的。一个区块链是没有价值的。一部手机,一个拥有一部电话的人,一个网络上的一个节点,是没有价值的。当网络中有数百万个节点时,价值就会出现,无论是与供应链相关的网络,还是与客户相关数据或任何其他网络相关的网络。那才是真正的价值到来的时候。我们实现这一目标的唯一方法是,当公司意识到对于某些用例——不是全部,但对于某些用例——当数据以更共享的方式管理并作为跨部门的共享资源时,将会产生惊人的规模经济。一个复杂的支持区块链的生态系统。

埃里克:是的,这就是症结所在。它在纸面上确实有意义。这对律师和管理层来说不一定有意义。我想,这只是其中一个问题,要做到这一点需要信念的飞跃。因为你有所有这些假设性的问题,你必须假设你可以解决它们。大公司,他们不喜欢信仰飞跃。但有趣的是,看看是否有一些机会让较小的组织可以在这方面领先,并且可能使用不太敏感的数据集。

马尔科姆:是的,有很多这样的例子,广泛的数据共享以促进商业或促进贸易,这些都是在高度集中的模型中完成的,我认为通过区块链进行破坏的时机已经成熟。一个非常非常高级的例子是产品上的 UPC 代码。你是谁并不重要。你是什么制造商并不重要。您遵守此数据标准。 UPC 代码是一种数据标准。它是主数据。这就是我们一直在谈论的一切。这是定义事物的一致方式。这是一致的标签。这是一贯的质量标准。它是一致的数据结构。因此,如果消费者去 Kroger、CVS、Walgreens 或 Safeway,当你在阅读器上发出哔哔声时,你会得到相同的数据并不重要。这是数据共享网络的一个典型例子,在这个生态系统中,公司聚集在一起并就一些数据标准达成一致,以促进商业和贸易。但它是以高度、高度集中的方式完成的。

那么,你能以去中心化的方式做这样的事情吗?我并不是说它一定是 UPC 代码。它可以是任何东西。我之前举的例子是ACME Incorporated相关的信息。某些数据提供商通过出售有关 ACME Incorporated 的信息赚取了很多钱。他们非常非常集中。他们有单一的数据库、关于公司的信息存储库,或者关于人或关于人们的需求或行为的信息存储库,等等。它们在很大程度上都是中心化的,而且它们在很大程度上都是作为数据共享生态系统存在的。公司确实看到了这里的价值。他们在一定程度上得到了它。但是当谈到,好吧,好吧,你必须付出一些东西才能得到一些东西,通常这将是一个挑战。律师当然可以参与其中。

事实上,我正在这里参加这个会议。我问。我昨天在谈论智能合约。在我的世界和数据世界中有一个概念。这是一种称为数据契约的东西,您实际上可以在其中甚至通过 API 在数据上标记契约,说明这就是它的使用方式。这就是它的意思。这些是如何使用这些数据的限制。我问了一位正在做陈述的律师。我说,你能自动化吗?因为我在考虑区块链上的智能合约。为什么你不能自动化共享数据的分发、数据的管理或数据的治理、谁可以使用它以及他们如何使用它的规则?我当时想,“你能自动化吗?”律师自动拒绝了。我当时想,等一下。当然可以。有一种东西叫做智能合约。

我想通了为什么他说不,因为我基本上是在问,我可以自动化你的工作吗?任何人对此的第一反应都会很奇怪。不,你不能自动化我的工作。但是,是的,我们在区块链世界还有很长的路要走。我认为这匹马已经走出了谷仓,而这只猫已经逃脱了。选择你的比喻。这项技术太具有革命性了。这里的优点太多了。它总是回到——我认为它回到了可以通过区块链利用的规模经济,当公司像一个孤岛一样独立运作时,规模经济是不存在的。

埃里克:是的,嗯,看着这种演变会很有趣。我觉得你是对的。技术就在那里。已经进行了很多实验。我们都在等待有人想出办法,然后建立一个价值 1 亿美元的好企业。只是有点弄清楚,并获得一些现金流。然后我想问我这边的最后一个问题。也许还有一些其他的事情你想分享。但是如果我们看Profisee未来的发展,区块链在发展路线图上吗?这是一个你们会尝试的挑战吗?如果没有,路线图上的其他领域是什么?其他优先事项是什么?

Malcolm:我们正在谈论区块链。但老实说,就我们的短期路线图而言,它不存在。所有软件公司,革命之路都是通过进化发生的——至少对于拥有现有客户群的现有软件公司而言,这些公司不能简单地推翻和更换他们的整个技术堆栈。所以,我们正在谈论它。我怀疑,我们绝对会到达那里。我认为我们可以采取一些小步骤来实现这一点。一个很好的例子是在我们的个人客户之间实现更广泛的共享。我认为我们可以采取一些措施。

我们谈论的是区块链,但我们现在真正关注的是几个不同的领域。一个是真的,真的,真的涡轮增压 Azure 环境。因此,我们与 Microsoft 深度集成。我们与 Microsoft 建立了长期合作伙伴关系。我们正在积极努力成为 Azure 领域的默认 MDM 解决方案提供商。当然,还有其他的,但我们希望成为首选供应商。如果您正在迁移到 Azure,如果您正在加倍使用 Microsoft 基于云的解决方案,我们希望成为您首选的 MDM 提供商。因此,我们正在建设和加强。我们已经有了一个集成。有一种叫做 Purview 的东西,它是 Microsoft 的数据治理工具。这是他们的数据发现和数据编目工具。我们已经在那里进行了整合。我们正在继续构建它。我们已经建成了。我们已经集成到 Synapse,这是他们在云中的 Microsoft BI 层。我们将继续致力于这些集成。我们继续尝试再次将自己定位为 Microsoft 领域中的默认 MDM 提供商。

我们正在做的其他一些事情也很酷。我们正在将如此多的软件公司集中在更多支持 AI 和 ML 的用例,以及我们解决方案中更多支持 AI 和 ML 的功能上。第一,我们正在做的事情是将图形功能集成到所谓的实体解析中,也就是匹配。我之前举的例子是ACME, ACME Inc., ACME Co., ACME LLC。我们正在努力构建一些基于图形的功能,以增强和改进我们现有的算法,这些算法正在运行以执行我们所谓的身份解析——知道什么时候是唯一的,什么时候不是唯一的。

我怀疑我们将继续投资于 AI、ML 和其他领域,以尝试使我们正在谈论的更多管理角色自动化,以做一些潜在的事情——如果一个数据管理员,如果一个人做出关于一段数据,该决定可以转过来并用于训练一些 ML 算法,因此该决定在未来不必是人为干预的。我们的软件可以从用户日复一日做出的一些决定中学习。这些是我们 365 天类型路线图的一些例子,我们的短期路线图。

毫无疑问,我们对区块链很感兴趣。但是,对于我们的核心客户,从我们合作的公司规模和我们合作的公司类型来看,我认为我们真的需要三到五年的时间才能在区块链的任何类型的商业主流应用中数据管理空间。甚至在医疗保健领域也出现了越来越多的支持区块链的解决方案,例如患者记录管理。当然,银行业,就国际货币转移和外汇以及那些类型的事情而言。因此,区块链正在加速发展。数据管理,我们往往会滞后一点。没关系,但我们肯定会关注它。

埃里克:是的,太好了。谢谢。这听起来像是一个务实的路线图。您必须关注在可预见的未来可以在这里产生价值的地方。伟大的。马尔科姆,我想我们已经涵盖了很多领域。谢谢你的时间。您想与听众分享最后的想法吗?

马尔科姆:不,这是一次很棒的谈话。我喜欢再做一次。我们在物联网领域做了一些工作。我发现真正令人着迷的一件事是这种分裂,即 IT 和 OT 之间的分裂。是的,物联网传感器可以存在于任何地方。它们可以存在于自动售货机中。它们几乎可以存在于任何地方。但它们被大量用于制造车间,以优化制造过程中发生的事情。

运营技术和信息技术之间有一个有趣的突破,其中存在于制造车间的大量数据并不真正倾向于超出制造车间。最近,我与 OT 界的思想领袖进行了一些有趣的对话,内容涉及物联网和正在生成的数据,以及他们正在用这些数据做什么。我问了其中一位思想领袖。我说,“好吧。你正在观察制造车间。你知道发生的一切。这些传感器实际上正在跟踪一切。”我举个例子。我说,“好吧。好吧,让我们想象一些传感器位于机器人手臂中。你知道关于这个机器人手臂的一切,因为你必须知道,包括谁制造的,谁制造了机器人手臂,那个机器人手臂的供应商. 显然,是贵组织的主要供应商。”

我问过一个人。我说,“你怎么知道,或者你怎么知道那个供应商,那个卖给你机械臂的人,是不是你的客户?”我没有得到回复。那人想了想,想了想。然后他说,“我们可能不知道。”这就是 OT 和 IT 之间的分界线。 IT 的世界,我的世界,就像 CRM 记录。它是 ERP 中的数据。它是数字营销系统中的数据。是采购系统。这是直接支出,这是间接支出。这就是所有这些东西。了解我们所说的贸易平衡之类的东西——意思是,你在卖给某人,但实际上有人一直在向你购买——这很重要。这就是您与 ACME Incorporated 的全部关系。你在卖给他们,但他们也在向你购买。

在 OT 世界中,您拥有对整个制造过程至关重要的机器人手臂。但是你不知道把它卖给你的人、公司是否也是客户。解决这个问题,对我来说,我认为这是有趣且相关的。

所以,我想,这里的一个离别想法是,如果有人在更多的物联网世界中听到这个,并且可能正在摔跤或受到挑战,或者被授权弄清楚我们如何将这些世界结合在一起,以便也许我们将直接支出和间接支出的世界结合在一起,也许我们会弄清楚如何将供应商的世界、间接方面的人和直接方面的供应商联系起来,弄清楚并解决这个问题对于 OT 和 IT,如果你对此感兴趣,我就是。所以,请在 LinkedIn 上联系我。就此进行更深入的对话会很棒。

埃里克:是的,太棒了。也许这是我们在某个时候必须进行的后续对话。

马尔科姆:那太好了。

埃里克:我认为物联网数据,只要看看那个用例,你也可以说,好吧,如果我们决定给你的话,我们生产线上关于你的机械臂的数据对你的研发团队非常有价值。

马尔科姆:是的,绝对。

埃里克:我们可能不会决定把它给你,但我们可以。我们可以将生产数据匿名化。我们可以为您提供不太敏感的数据。那里有很多未开发的价值。在物联网方面,这里有很多领域值得探索。马尔科姆,我很乐意与您进行后续对话。但真的,感谢今天的时间。

马尔科姆:非常感谢,埃里克。我很感激。

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.