播客 > Technology > Ep. 061 - A primer on machine vision: technologies and use cases
Ep. 061
A primer on machine vision: technologies and use cases
Iain Smith, Managing Director, Fisher Smith
Wednesday, March 25, 2020

在本集中,我们将介绍机器视觉技术、用例采用趋势以及高精度解决方案的关键成功因素。我们还审查决策过程,以确定适合低复杂度和高复杂度系统的技术堆栈和成本结构。


这是 Iain Smith 关于机器视觉的 2 部分中的第 1 部分。

Iain Smith 是 Fisher Smith 的董事总经理兼联合创始人。 Fisher Smith 设计并提供机器视觉系统,用于自动检查和识别工业生产线上的制造零件。 https://fishersmith.co.uk

音频文字.

Erik:欢迎来到工业 IoT Spotlight,这是您从工业 IoT 思想领袖那里获得洞察力的第一站,他们正在与您的主持人 Erik Walenza 一起改变当今的业务。

欢迎回到工业物联网聚焦播客。我是您的主持人,IoT ONE 的首席执行官 Erik Walenza。今天我们的嘉宾将是 Iain Smith,Fisher Smith 的董事总经理兼联合创始人。 Fisher Smith 设计并提供机器视觉系统,用于自动检查和识别工业生产线上的制造零件。我们一起讨论机器视觉技术和用例采用的趋势,以及高精度解决方案的关键成功因素。我们审查了决策过程以确定正确的技术堆栈,并分解了高复杂度和低复杂度系统的成本结构。

如果您发现这些对话很有价值,请给我们留下评论和五星级评价。如果您想分享您公司的故事或推荐一位演讲者,请发送电子邮件至 team@IoTone.com。谢谢你。伊恩,非常感谢你今天加入我们。

伊恩:很高兴来到这里。

Erik:所以,Iain,在我们详细了解 Fisher Smith 所做的事情以及您正在使用的技术或机器视觉技术之前,我想进一步了解您个人的来源。所以我看到你和费舍尔史密斯在一起已经有很长一段时间了,大约 15 到 16 年。你是创始团队的一员吗?或者你与费希尔史密斯相处的背景故事是什么?

伊恩:是的,所以我是创始人之一,也是企业的所有者。我们从 2004 年开始。我在英国布里斯托大学获得了工程数学学位。作为其中的一部分,我的论文最终转向了计算机视觉和与之相关的一些软件方面。当我大学毕业后开始工作时,我加入了一家实际上是机器视觉机器制造商的公司。因此,他们正在制造具有机械处理、零件进给、剔除系统、电气材料、机械设计、构建以及软件、相机和视觉方面的完整机器。

当那家公司停止交易时,我和其他在那里工作的人决定我们将创办自己的企业来继续一些工作和樱桃采摘。所以我们从那时起稍微改变了我们的关注点,因为我们可以看到,我们的个人技能当然不是机械设计、电气设计和建造,我们是视觉工程师。因此,我们拥有的优势在于软件、配置和视觉设备的集成。因此,我们专注于这一点并停止制造机器,并开始在市场上寻找其他合作伙伴,这些合作伙伴要么拥有需要添加视觉的机器,要么正在制造机器,我们开始与他们合作。这一直是我们未来的主要商业模式之一。

Erik:所以你从第一天起就几乎是一家机器视觉公司。我想您可能在专注于软件方面做出了正确的选择。这似乎是大多数创新所在。但自 2004 年成立以来,您的业务发生了哪些重大变化?

Iain:所以我想我们可以指出两三件事是非常大的变化。所以,一个可能是我们经历了大金融危机的经济因素。在此之前,许多在英国制造装配机的自动化公司、机器人集成商开始壮大他们的团队。所以他们不仅有机械、电气设计和建造。他们还拥有内部 PLC 和机器控制功能的软件。但他们也开始扩大团队并带来更多的东西,在内部增加更多的价值。所以他们开始集成视觉相机。他们开始做其他一些辅助设备。

然后当金融危机发生时,很多人都退缩了。他们裁掉了没有 100% 致力于核心工作的额外员工,并开始为他们可能需要在每三台机器或每五台机器上完成的一些工作寻找分包商。视觉肯定是其中之一。所以这是一个很大的变化,当时非常适合我们,因为我们在那里有效地提供了作为分包商的愿景方面。这与一些现在不再想在内部实现愿景的自动化公司非常吻合。

埃里克:随着经济反弹,这种趋势是否发生了逆转?

伊恩:我觉得有点。因此,一方面是人们也意识到,当他们自己做这件事时,他们并不总是做对,有时他们会遇到困难。这有很多原因。但肯定有这样的遗产,拥有这种经验的人现在重视我们的专业知识来解决这些问题,首先得到正确的解决方案,然后为他们实施。所以这肯定是一方面。

另一个方面,这可以追溯到您之前关于这段时间发生了什么变化的问题,市场上设备的成熟度确实发生了变化,尤其是在过去的 5 年和 10 年。所以当我第一次开始在一个智能相机中使用这一切时,一台带有计算机、一些 IO 的相机都内置在一个单元中是非常罕见的。周围可能有一些,但它们非常有限,非常昂贵且非常大。因此,我在工业界工作的早期所做的几乎所有愿景都是基于 PC 的。我们经常将模拟相机与模拟图像采集卡集成在一起,这些图像采集卡是插入工业计算机的板卡,然后我们用 Visual Basic 或 C++ 编写计算机软件以提供用户界面。

因此,从一开始,每一个系统都感觉非常独特。因此,我们增加了很多价值,但也有很多成本。这些项目相对较大,但频率较低。市场已经非常成熟,现在市场上有很多不同的产品价格都降到了很低的水平,如果部署得当,它们非常有能力完成非常简单的任务。现在市场上确实有一个完整的产品系列,可以让您以相当具有成本效益的水平解决大多数问题。

所以这也是一个非常大的变化,我们现在为视觉硬件增加价值的地方发生了变化,我们能够为更好、更用户友好、更易于使用的产品增加更少的价值,他们'重新部署更快。我们对他们的参与正在减少。但是在高端市场,我们正在获得不同的和更新的技术,这些技术仍然需要为我们带来相当多的附加值。

Erik:我想深入研究这项技术,技术堆栈是什么样的,以及这些即将上市的新技术是什么。但在我们去那里之前,我想让每个人更多地了解你所做的事情以及你在这里价值链中的位置。那么,您将如何定义 Fisher Smith 的价值主张,以及在部署该解决方案时如何与其他技术提供商互动?

Iain:所以我想,我们将自己描述为机器视觉集成商。所以我们不制造任何硬件。我们通常采用市售硬件,决定如何为客户解决问题,然后部署这些硬件。这就是将硬件放在一起,编写软件或将软件配置到所需的任何程度。

我们的客户是混合体,但他们可能分为三个不同的类别。因此,一组客户是自动化公司。所以他们是制造机器的人,也许是一次性的,也许是类似事物的多个单元。但他们是将机器人组装在一起,制造装配系统,组合零件,制造零件,然后我们进来并将视觉位添加到他们的产品中。

然后我们有另一组客户,他们是实际的最终用户,正如我们描述的那样,他们是实际制造某些东西的人。所以他们有一个工厂,他们正在制造小部件。它们可能是塑料钻头、金属钻头。他们有一条生产线,他们需要一些远见来进行质量控制的某些方面或协助这些生产线的自动处理。

但同样,我们倾向于与之合作最好的客户是那些拥有一定程度内部工程的客户,因此他们能够拿到我们的设备并将其安装、放置到位、接线,然后我们进来做软件方面。这不是一条硬性规定,有时我们会做一些事情。但是我们确实尝试保持一条我们不会越过的界限,因为我们知道我们的大多数客户,这是他们所拥有的技能,我们不想踩到他们的脚趾,所以他们不断地回到它使用我们。

我们处理的第三类客户是我们所说的 OEM 或原始设备制造商。这些人往往是在构建特定的商业化系统的人。所以他们一遍又一遍地制造同一台机器的倍数。有了这些,我们通常在组件级别销售更多。所以这更像是我们所做的分销,但更多的是增值。因为通常在该过程开始时,我们会就他们需要什么设备做出一些非常详细的决定,可能会协助编写一些软件来安装这些相机。然后部署,一旦它被修复,就作为我们的硬件销售推出。

即使是我们认为的标准客户,自动化客户,他们中的一些人或多或少都有内部技能,有人只是从很早的阶段就与他们合作。因此,我们拥有的真正最好的关系是在销售过程的早期阶段,我们在这里看到的是零件,这是客户对这些零件的要求。这是他们遇到的问题,或者他们认为他们将遇到需要保证质量的问题,或者我们需要一种方法来自动提供流程的其他部分。

然后我们可以说,好吧,要做到这一点,我们将需要部署这种技术。作为报价包的一部分,我们获得了价格,然后我们通过报价获得了愿景位的所有权,以订购何时建造,然后签字。通常,由我们来决定或指定视觉设备是什么,并确保这将满足客户的要求。并且当这些工作被完全接受并证明它在他们的现场环境中使用新制造的零件工作时,我们通常会为这些工作的最后部分获得报酬。

Erik:我想当你刚开始的时候,你和很多第一次做这件事的客户一起工作,也许这个项目在某种程度上被视为一个创新项目,或者有一个特殊的项目。我想你的很多第一批客户不一定有这个类别的流程和首选供应商等等。它是否已经成熟到今天,与您合作的大多数公司已经非常清楚他们想要什么,他们以前可能在不同的工厂或设备上这样做过,现在他们正在通过更加标准化的生产流程?或者它是否经常仍然是一个特殊项目或创新相关项目?

Iain:我认为我们介于你所描绘的两个场景之间。视觉现在是一种公认的技术。现在使用非常广泛。但是,对于许多最终客户来说,仍然存在一种误解,即他们对此了解不足,无法做出非常明智的选择。我们已经完成了多个项目的客户,他们开始非常清楚我们认为这将是困难的,或者我们认为这会是好的。

所以它开始成熟,在这方面,人们开始在销售过程的早期阶段给出报价,并根据他们自己的经验在其中给出一个预算数字。然后随着销售的进行,它变得更加坚定和更加真实,然后他们会回过头来告诉我们,我们已经为单个智能相机进行了预算,我们认为这可以做到这一点。您能否检查一下并确定这些价格,因为我们现在需要向最终客户提供详细的故障报价,以便他们做出决定?

所以我们看到的更多。但是仍然有一种感觉,我们的客户很容易弄错,所以他们仍然更喜欢用我们来仔细检查这些,而不是说,是的,我们以前做过这一切,没关系,只是说我们会这次就从你那里买硬件。我们不需要任何集成时间或任何支持。当然,我们拥有的最好的关系是那些在这个过程中重视我们的投入的关系。

Erik:因为我猜你们这里也有一系列相当成熟的技术,但也有许多相当新的技术正在解决前几代人可能不容易解决的挑战。你有没有想过将你的专业知识产品化?我确定您在完成大型集成之前已经参与过项目,您可能会坐下来想,您知道吗,我们可以采用我们刚刚构建的产品并将其产品化,可能有 100其他潜在客户。这是您以前做过的事情,还是您认真考虑过的事情?

Iain:这是我们考虑过的事情。它通常不是那么清晰,因为视觉通常是更大机器的一部分。因此,其中一些我们确实需要与自动化公司合作或合作。所以,实际上,我们在这里所做的就是制造一台可以执行此操作的机器,而视觉检查或视觉引导位是其中非常重要的一部分。但是我们需要这两个部分才能完全发挥作用。

我们与其中一家自动化公司合作了很多,他们实际上拥有几台标准机器,其中大部分都具有远见。但我更笼统地说,我们看到大多数项目都是一次性的,它们是相当独特的。即使它们显然是早期系统的重复或复制,也经常进行修改。我们做的是完全相同的产品,但它的高度是前一个的两倍,或者颜色不同。总会有一些细微的不同,这意味着你不能只是重复完全相同。您可能可以重复其中的大部分内容,但是您需要对其进行调整和改变,并对其进行修改以适应新的场景。

Erik:让我们谈谈一些用例。所以听起来你主要与机器制造商或机器用户一起在工业领域工作,你将在哪些主要用例中工作?

Iain:所以最常见的就是质量控制。这几乎可以涉及所有市场领域,客户只想保证他们制造的产品是正确的。不同的客户有不同的理由来找我们寻求愿景。我们刚刚向我们的客户发送了一大批产品,他们都有问题,他们都把它们都寄回去了,他们给了我们一大笔罚款,我们花了很多钱来分类它们,这是不好的宣传。这都是负面的。他们说我们需要阻止这种情况再次发生。我们能做什么?然后没关系,我们需要一些系统来检查它,并经常看到看待它的方式。

其他客户对他们的质量控制采取更积极主动的方法,并表示我们希望保持我们作为最佳或特定品牌领导者或市场领导者的市场地位。因此,即使我们没有任何质量问题,我们也无法承受任何质量问题的发展。所以我们要主动说我们要在这个领域引入检查。我们不期望找到任何东西,但我们只想完全保证没有任何事情会通过。

可以检查每个不同的产品。对于其中一些,如果您正在查看事物的食物方面,那么通常就是包装。因此,检查日期代码是否可读,条形码是否可读,包装上的文本或标签是否正确应用在正确的位置,并且适用于正在运行的正确产品,因此您不会错误地将盒子或某物标记为某物不同的。

历史上,我们在塑料瓶、瓶盖、瓶盖和瓶盖方面做过很多工作。种类繁多,要么拧上盖子,要么带翻盖,比如有一小瓶番茄酱用于沐浴露或洗发水瓶,消费者将在其中处理那部分塑料。因此,随着品牌变得越来越优质,确保瓶盖没有任何遗漏或瓶盖没有正确关闭和密封,最终导致泄漏,这一点非常关键。

因此,运输中的大混乱,超市货架上的混乱,并且通常与很多塑料制造商一样,您也在谈论大量产品。因此,当您可能每秒制造数十个零件并且他们沿着生产线直接进入包装好的盒子并且对过程中的下一个零件敏感时,人类很难成为该过程的一部分。然后,如果过程中开始出现故障,那么您需要不断监控该线路的东西。

这就是愿景真正大获全胜的地方,它在做出决策时非常客观。它不需要任何休息时间。它不睡觉。一个周末后它的感觉并没有改变。它可以非常快。而且它也是非接触式的,这对这些人来说通常是一个好处,而不必停止或操作部件。我们通常可以在零件移动过去时拍摄图像,而无需任何干预。

因此,您可能会认为通常不使用它们的视觉的良好用例的其他领域是航空航天等领域,以及一些关于汽车运动的发言权。因此,例如,在我们周围,我们在英国的地方,我们有两三个主要的一级方程式赛车队。所以他们正在为发动机和类似的东西制造质量非常高、规格高的金属片。但他们每年可能会生产 5 个,或者 10 个。每个人都需要花费一周的时间来用一块坚固的钛块制作。

尽管质量要求非常高,但如果人工或半自动检查需要一周的时间,那么他们的流程并没有真正的改变。如果您谈论的汽车零件将进入大型汽车制造商的主要生产线,并且他们需要数千个零件来制造一辆小型 SUV,而且他们需要每个零件都是正确的,那么情况就完全不同了在制造时,当它进入汽车时,或者它停止生产线。然后是制造损失的成本。

Erik:手动生产线呢?所以我最近听到更多的人在谈论使用机器视觉来解决手动装配生产线的挑战,而你正在尝试理解,也许这不是质量问题,而是输出速度,哪里有瓶颈?

而且我认为这里的机器视觉解决方案倾向于跟踪一个人的身体轴,并了解这个人需要 2.3 秒来组装这件作品,然后将其传递给下一个,然后需要 2.7 秒才能完成接下来,这里可能有一个瓶颈,可能是这个人没有以最佳方式组织他们的动作。因为这确实是非常难以有效管理的领域之一,因为一切都是手动完成的,所以您没有您所描述的自动化。您是否在那里部署了任何解决方案?

伊恩:所以我们还没有做过这样的事情,我们实际上是在观察人类在做什么,并说如果他们坐在这里,或者他们到达并实际监控人类,这个人会更有效率。但是我们已经完成了系统,我们一直在最终组装点检查生产。所以它已经通过了许多工作站,然后它到达生产线的末端并进入包装或下一个过程,然后检查所有组装部件是否正确组装在一起。那么是组装完成还是遗漏了什么?或未正确拧紧或放置不正确。有时这会发生在流程结束时。有时这被打破了。

所以有一个关键领域。这里是由操作员手动放入的三个螺钉。如果缺少其中一个,我们真的不想为当时需要纠正的产品增加任何价值。所以你最终会得到一个特定的检查,只是在那个区域只是为了看一件事并阻止它进一步发展。

显然,如果您有一条手动生产线,那么可变性可能会更大,并且可以部署视觉。可能是混合技术,所以对于其中的一些,你混合了反射式或感应式传感器,只是说,是的,这里是否存在,或者产品的一部分是否存在。然后可能有一个愿景,寻找传感器无法检查的其他东西,所以你最终会使用混合技术进行非常基本的检查,但它只是停止了。这是确保不会将价值添加到已经错误的组件的无故障转发方法。

Erik:也许是工业互联网联盟,只是一群推动合作的公司,我认为是华为和另一家公司,但他们正在构建的解决方案之一是对汽车轴进行质量控制,所以轴的焊接。我认为,其中的挑战是,标准流程是在轴被焊接后拿走它,然后对它进行 X 光检查,因为你必须看到焊接的强度。

所以他们有一个解决方案,在人们进行焊接时使用红外线,然后在其背后使用一些机器学习来查看热量模式,以确定是否正确焊接了某些东西。我想,好吧,也许我错了,但感觉有点像一个尖端的应用程序。是否有任何应用程序将突破您可能第一次看到的界限,第二次但您认为可能会扩大,这些应用程序可能由过去几年刚刚在商业上可行的技术支持?

伊恩:当然。我的意思是,我认为我们看到的可能有两个领域目前正在真正开放。因此,其中之一就是 3D。而且 3D 并不是真正的新技术。我们肯定在 10 年或更多年前就选择了 3D 系统。但我们现在看到的是,一些 3D 产品已经成熟到可以成为产品的程度,而不是我们不得不几乎将 3D 系统与相机和激光放在一起,然后编写一些软件对系统进行三角测量。

现在,我们正在获得准备在工业环境中部署的现成产品,这些产品将准备好运行 3D 图像,它们经过预先校准,开箱即用,可以为您提供一定体积的毫米测量值。实际上,在过去五年中,我们已经开始看到软件和软件工具的巨大进步正在赶上硬件。因此,我们在市场上与许多不同的品牌打交道。

其中一些具有非常强大的工具集,但它们几乎处于学术水平,您必须了解正在发生的事情,将两者放在一起才能到达您想要的地方。现在我们开始看到一些其他品牌,我猜这些品牌更注重商业,这些工具开始变得你可以,好吧,我会教你,我'要在这个 3D 图像中寻找它。它几乎与部署 2D 解决方案一样简单。

所以,它打开的门是用一个说的,这将是非常棘手的,或者它需要多台摄像机来实现这一点。现在我们正在研究它,并想,实际上,这些 3D 相机中的一个可以做到这一点,会给我们提供我们需要的所有信息。这很有帮助,因为它经常会去掉一些颜色变化、背景等,这可能是 2D 图像的问题。我们得到了我们想要的所有数据,现在处理这些数据变得非常容易。

Erik:所以,当您说 3D 图像时,请稍微理解一下,这是否意味着相机从不同的侧面观察它,或者您正在创建这个物体的三个图像,这是这里的目标吗?

Iain:是的,所以生成 3D 图像可能有三种主要方式。一种是让多台摄像机查看一个场景,然后一起校准它们。事实上,每个人都可以重叠并看到另一个人的特征,你可以建立一个 3D 图像,一种立体类型的系统。这往往使用较少,因为我们看到其他两种技术更容易让硬件制造商生产。

一种是激光三角测量。所以你通常有一条激光线,可以是直下的,也可以是一个角度的,还有一个相机,如何看那个激光线的角度。并且给定激光和相机的几何形状,作为一个物体,3D物体从它下面经过,它会移动激光线,相机会看到轮廓变化,然后你可以根据激光线的差异进行高度测量.

这些已经变得相当成熟,许多制造商将把它作为带有激光和相机的现成装置,通常通过板载处理进行预校准,这实际上会找到生产线并为您提供我们来自相机的 3D 点,以便您最终将 3D 图像输入系统。从历史上看,这受到了它们需要直线运动的限制。

因此,您要么需要将部件沿着传送带传送到相机下方,然后使用编码器反馈来逐行构建图像,要么需要将相机移到部件上方的通道上以实现相同的效果.我们现在有几家制造商的技术发生了变化,或者他们已经在这方面进行了创新。所以我们现在得到了相机正在扫描的激光图案。

所以你有一个静止的物体并且物体没有移动,相机用一个小电流镜系统扫描一个激光图案。然后相机在场景中移动时拍摄这种图案的多张图像,然后可以从中构建出 3D 图像。我们已经使用了其中的一些,它们非常有效。

然后另一种技术类型是您拥有一对立体标准相机。但是在正常情况下,您有一个图案投影仪,该图案投影仪在您的对象上放置一个小形状的伪随机图案,这基本上为图像添加了 3D 纹理。所以每个相机都能够开始匹配我可以在我的图像中看到这些特征,而另一个相机可以看到另一个图像中的特征,然后他们定位它们中的两个得到已知的相机几何形状和投影仪设置,将其三角测量并为您提供 3D 点。

然后我们在技术上取得了进步,它们正在改变、移动和移动模式,这样就开始消除黑点,你可能在一台相机上反射过,所以你没有数据,所以你不要获得 3D 点。如果您可以继续操纵该图像,那么您可以填充相当多的那些黑暗区域。再说一次,我们有一系列使用这项技术的相机。并在 100 毫秒内从静止的角度获取零件顶部的完整 3D 图像。所以这些现在真的是商业化的现成产品。五年前,也许那是奇怪的一两年,但你正在开辟新天地来部署它们,而现在它们正在成为标准。

Erik:你说现在还有一个非常有趣的领域?

Iain:另一个领域是深度学习。再说一次,深度学习不是一项新技术。但现在已经到了可以在很短的时间内准备好部署的软件包的地步。因此,我们市场上有几个主要参与者拥有深度学习软件,其中神经网络已经在大量工业图像上进行了预训练。因此,为您的特定产品进行培训的开销会更少,因为网络已经准备好处理与您可能正在查看的图像大致相同的图像。

因此,这确实让我们能够查看一些产品和一些项目,尝试使用基于规则的标准视觉系统来完成,您可以在其中计算像素、进行测量、寻找模式,但您无法做到做。虽然一些深度学习现在打开了你以前无法想到的大门,但它会非常复杂,以至于它永远不会健壮。而现在我们拥有的技术仍然比部署更标准的东西更复杂,但它们已经为部署做好了充分的准备,并准备好解决一些我们以前无法解决的问题。

Erik:所以也许你可以引导我们了解如何确定适合某种情况的正确技术堆栈的思考过程,因为我们在非常标准的现成产品和具有不同功能的全新技术之间有相当大的范围.也许了解您考虑的主要变量是什么会很有趣,我的意思是,当然还有成本和可靠性等等。但也许还有其他变量也会影响该决策过程。您是否有一份清单,或者您将如何评估可能有意义的技术堆栈或公司的架构?

Iain:所以通常情况下,我们会从现有产品范围的底部开始,然后淘汰并逐步完善。因此,作为视觉集成商,我们的职责是为客户解决问题。但正如你所说,他们不希望我们不惜一切代价这样做。他们希望我们为他们提供具有成本效益的解决方案。所以我们当然会从市场的底部开始。非常简单的视觉传感器,一个多合一的,你有一个相机,灯,镜头,和 [听不清 37:28] 或一些通信协议都内置在一个盒子里,成本非常低,但非常有限。

如果这样做可以,那么为什么不部署呢?这很容易部署。移交给最终客户并给他们一些培训也很容易,这样如果他们将来确实需要更改某些内容,附带的软件非常用户友好,他们可以轻松地拿起它并制作一个小修改,如果将来需要,请稍作调整。

因此,尽管完成复杂的项目很好,但我们也知道部署它们没有任何开销。还有一个复杂性问题,如果我们交出一个非常复杂的系统,那么一些客户将难以忍受它并在没有我们大量投入的情况下维护它。因此,它适合我们的客户进入那种更简单的市场端有几个原因。但如果可以的话,我们也有充分的理由部署更简单的系统。虽然他们并没有在我们的营业额数据上投入这么大的数字,但他们通常更容易部署、划清界限并停止支持并继续进行下一个项目。

因此,通常情况下,当一个新产品带着我们想要检查这个、这个和这个的规格来找我们时,我们会与我们的客户或客户的客户进行核对,无论谁对系统做出任何限制,以说明速度有多快他们会去,他们将如何被处理,他们会不会在镜头前停下来,他们会不会移动,我们是做一次还是多次?

然后所有这些开始告知我们的决定,好吧,如果我们正在以非常高的速度进行拍摄,那么我们可能无法查看这些 3D 相机中的一个或非常非常高分辨率,因为我们可能只能看到三个,相机每秒五帧。那么我们可以用我们面前的技术来做到这一点吗?或者我们需要说,我们需要同时做四个,因为每个相机都需要以一定的速度运行,而你告诉我们零件脱落的速度比这更快。所以有关于数量的决定,然后很明显,所有这些决定都会影响我们可能需要组装的系统。

所以市场的底端,你有智能传感器。所以这些往往是一个相机,有一个内置镜头,有一个从相机前面发光的内置灯,然后在后面也有一些连接。所以我们会做所有事情,几乎是作为一次人口普查。设置完成后,您可以拔下配置软件,它就可以工作了。如果他们工作,他们很好。通常,您需要说,好吧,实际上,我可能在那个智能相机中设置了正确的工具,我可能在里面有正确的软件来进行我需要的检查。但是光线不对。我不能说足够的部分。或者我无法专注于足够小的区域来提供我想要的功能。

因此,关键考虑因素之一是我们并没有真正谈论但对视觉绝对至关重要的是照明和光学。这确实是第一点,因为无论您在相机中的分辨率有多好,无论您的相机可以获取多快,无论您的软件、工具和功能如何,您都拥有深度学习和背后的东西,如果您图像质量不够好,那么你的数据就很差。因此,无论您多么努力地处理该数据或捕获该数据,您并没有改善您开始使用的数据很差的事实。

所以我们尝试做的第一件事就是尽可能地获取图像数据。因此,我们希望以尽可能多的对比度突出显示任何功能或任何故障。因此,这通常是选择正确的镜头、正确的光学器件以专注于我们关心的区域的问题,如果认为根本不需要检查其他区域,则可能会忽略它们。然后非常关键的是,它让光线进入。这可能是光线的颜色。这可能是灯光的方向。

所以对于像测量这样的一些事情,理想的情况是要有零件的轮廓。所以你真的想要来自零件后面的光线,前面的相机,你会在零件周围得到一个漂亮的轮廓。但对于其他方面,你想照亮表面。但是,如果您的产品反光性很强,您可能无法将光直接反射回来,直接从产品中射出,因为您只是将反射直接返回到相机中,然后您看不到任何需要的东西看。

因此,我们销售过程的一部分通常是在许多不同的照明场景下分析这些产品,并找出什么会给我们提供我们正在查看的功能的漂亮、强烈的高对比度图像。我们的客户经常会遇到一些困难,因为我们不是在寻找漂亮的摄影图像。我们不想让他们的产品在屏幕上看起来不错。我们希望突出显示错误,理想情况下是从黑色到白色,从白色到黑色,以便我们可以做到尽可能明显,因此当错误发生时,软件必须尽可能少地找到它并找到它可靠。镜头和照明的选择可能是任何系统中最关键的部分。

Erik:我想在其中一些情况下,您必须改变制造环境,对,因为您有一条生产线,其中零件正在停机,并且在某些情况下,可能很难对其进行配置以达到最佳状态。与您合作的制造商是否经常愿意修改他们的生产线以创建这种理想的解决方案?

伊恩:有时。如果我们处于流程的足够早阶段,通常是在报价时,我们可以开始指定其中的一些内容,并说,根据我们的经验,这将非常困难,除非我们这样持有或除非我们停止它,或者除非我们在相机前旋转它或任何处理方式。

然后我们可以把它推回自动化公司,因为他们还没有完全设计机器或者机器只在纸上设计,在 CAD 上,并说如果你像这样经历过去,我们真的很难做到可靠地看到该功能。我们是否可以将检查移动到我们可以可靠地看到它的其他地方,或者您可以移动零件,以不同的方式操作零件,以便为我们提供组件的最佳视图?

有时,这是不可能的,而且我们已经有了一条生产线,我们需要在这一点上增加愿景。而那些,它变得更加困难,因为你可能无法控制其中的一些事情。我们可能不得不对其中一些客户说,理论上,你可以做到这一点。但是,如果处理不够好,我们将陷入困境,或者我们将拒绝更多您的产品。如果你想让我们保证只有好的那些通过,那些已经移出位置的那些,他们已经扭曲,他们已经坐起来,传送带上有一个颠簸,无论发生在什么其他类型的问题过程,我们可能不得不说,好吧,我们不能说它是好的,所以我们必须假设它是坏的。

然后对于那些认为他们的生产线非常顺利并且在所有方面都可以完美运行的客户来说,通常会有一个很大的学习曲线,直到您开始在那里放置一个相机来分析每个零件并且您需要它们被很好地展示.然后你会发现传输机制不像客户认为的那样顺畅,或者不那么可靠,或者不那么准确,因为他们从来没有分析过我们要求的水平。

如果故障很明显,或者它们呈现得非常好,那么这不是问题。但是,如果您开始,它总是会敲响警钟,如果客户说我们需要将其测量到几分之一毫米,但它会撞到这条旧传送带上,那么我们会说,好吧,可能我们将在零件展示中看到的变化将大于您尝试测量的公差,它只是不起作用。如果你想这样做,你可能不得不停止它,以非常可控的方式握住它,以便我们可以对其进行可控测量。

我们参与了更大的对话,而不仅仅是在线路一侧安装摄像机。我们必须了解一些我们的客户受到限制或已经拥有的流程。他们还必须了解我们需要什么。如果我们没有得到某些可能会影响检查的事情,那么有时这些妥协是可以接受的,有时则不是。

Erik:我见过很多传送带,其中其他部件也不一定面向相同的方向,因为对于现有流程而言,这可能不是必需的。但是你会如何考虑主要变量是什么?因为我猜你有硬件,你有软件,你可能有一些云部署,或者 SaaS,从长远来看,这将是每月或定期的账单。当有人在考虑机器视觉解决方案的生命周期成本时,通常有哪些大变量?

伊恩:是的。所以我会说我们的大多数客户,成本被视为资本支出。因此,他们正在考虑在第一天预先花费大量资金,然后在接下来的 2、5、10 年的生产中获得回报。目前我们关注 SaaS 或订阅模式的地方通常不多。当然,这是我们的经验。但是工业市场是一个非常保守的行业,这种变化正在非常、非常、非常缓慢地发生。

就成本而言,在市场的底端,所以我有点触及我们所说的智能传感器。所以这些多合一的设备,你有一个相机,灯,镜头,一些处理,一些 IO 和通信,都在一个,它们通常是非常小的单元。这些设备具有不同级别的功能,但我们肯定会看到低于 1,000 欧元、1,000 美元的价格购买这样的设备。因此,有了这些,它们现在几乎作为传感器出售。通常,我们可以为它们增加的价值很少,因为当我们向某人收取我们一天的时间以及它来设置它的时候。我们本可以轻松地将硬件成本翻倍。

因此,一方面,您有非常工业化的术语,非常低成本的设备,但它们非常受限制。所以他们可能只有一个软件工具。只有当内置镜头和灯光适用于您的应用程序并向您展示您需要查看的功能时,它们才有意义。但这可能是与工业过程中的成本一样低的成本。我会说我们的标准中间范围。

所以一个功能更全的智能相机,我们可以选择镜头,我们可以选择照明,有单独的实体,但你仍然拥有处理器和软件工具,以及 IO 和通信都内置在一个单元中。您肯定在谈论集成解决方案,因此包括我们的时间和签字。你是非常圆的数字,10,000 欧元,10,000 美元,那种价格点。然后,如果您开始使用多个摄像头,多个,也许是 3D 摄像头,深度学习,那么您可能会花费 5 到 10 倍的成本,因为您刚刚拥有更多的硬件。这是更昂贵的硬件。也有可能附带的软件许可证。

而且我们的部署时间会很快增加,因为我们经常需要编写图形用户界面。我们可能还需要维护其中一些软件工具的开发许可订阅。而不仅仅是配置一些专有软件以按顺序将一些工具组合在一起,您正在谈论拥有一个软件库,您现在可以使用适当的编程语言,C++,CSharp,无论它是什么来配置它,以将所有这些构建块放在一起,解决您正在查看的确切解决方案,与多个摄像头对话,与其他自动化部分对话,获取和接收数据,然后呈现所有这些,以便操作员或用户与之交互,查看统计数据,查看结果,查看图像,进行更改。所有这些事情都需要时间来生成软件。因此,成本范围可以从一端大约 1,000 美元到高端的 100,000 美元。

Erik:这是一次很棒的谈话。你绝对是谈论这个话题的合适人选。我们错过了什么重要的事情,我们应该报道?

Iain:我认为我们还没有真正谈论的是如何使用这些相机系统中的数据。这是我们真正的挫败感之一,我们经常肯定会进行质量控制,我们会在生产线上安装相机系统,我们会拒绝零件,因此不良零件不会传递给客户.但理想情况下,生产线应该从相机中获取数据并说,我们的过程中发生了什么导致这些故障?为什么我们会得到这个?我们如何才能停止该来源,以便相机现在什么都不拒绝?

因此,我们经常看到客户很高兴他们没有发送不良产品。但只有当废品达到这样的程度时,他们要么因回收或销毁废品而被收取过多费用,要么被销毁。或者他们的客户进行审核并说实际上,您在这方面或其他方面的效率只有 90%。为什么不是更好,然后他们开始说,哦,我不知道。

所以有很多关于物联网、工业 4.0 的讨论,所有这些数据收集现在都是可能的。但我们看到,实际获取数据、处理数据、监控数据、将数据反馈到流程的其他部分的过程仍然非常脱节。并且经常将摄像系统放在生产线的最末端。作为看门人只是为了阻止坏事在最后发生。它不被视为不可或缺的一部分,好吧,让我们反馈回来,让我们监控这些数据。如果它在那里拒绝,也许是环境温度,也许是物质变化。我们看到电机运行大电流。有东西粘着。有东西堵塞或上游有什么变化导致了这种拒绝,然后您可以开始将其构建到预防性维护中,您可以开始将其构建到监控哪些原材料是关键的,哪些不是。

我们偶尔会在与我们打交道的一位特定客户那里看到这种情况,他们正在制造塑料部件,基本上,它也有橡胶的一面。橡胶是黑色的。我们正在检查黑色橡胶中缺少的部分。偶尔,我更换了材料,橡胶上会出现白点,黑色橡胶上有白点。我们说,每一个白点,都少了一点黑色橡胶。他们对我们说,不,这很好。你可以把它从表面上擦掉。好吧,相机无法分辨。它只是看到有很多黑色缺失。

但它应该反馈到思想中,说材料导致我们拒绝。如果我们为稍微好一点的材料多付一点钱,我们就可以消除所有这些不合格品。实际上,我们最终得到了一台效率更高的机器。而这正是我们所没有看到的。许多这些相机能够输出他们收集的数据。但我们看到,虽然这些摄像机中的大多数现在都能够与标准工业协议、以太网、IP、PROFINET、Modbus,所有这些非常标准的协议进行通信,但它需要在另一端的任何人来收集这些数据,整理它,然后用它做一些事情来开始改进过程,监控过程。

Erik:所有这些平台都出来了,西门子、mindsphere,我认为这是他们价值主张的核心。这可能是我假设人们正在将更多这些数据移动到云中的原因之一,如果它们都是固件,或者只是在前提下,很难有效地处理这些数据。你在这个领域有什么建议吗?您是否开始更多地进入商业模式并说,是的,也许您有一些振动传感器,如果我们开始看到划痕,也许我们应该确定特定设备的振动是否增加,我们可能有[听不清 58:24] 然后需要校准设备,您是否参与这些讨论?

伊恩:偶尔。我们经常看到,一旦系统被投入工厂并被部署,通常最初运行项目的人,他们可能会说,好吧,也许我们确实需要添加额外的传感器在这里,或者我们确实需要对此进行监控并联合起来,做出决定。他们现在已经转移到他们正在建造的另一台机器或他们正在管理的另一个项目中。

现在,机器的日常运行通常在质量和工厂维护或生产之间进行。生产部门希望零件从机器上下来。除非出现故障,否则维护通常不希望进行干预。质量不愿意改变任何东西,但他们也不想改变任何参数。这些人群中没有一个人真的在进行任何这些会议,实际上,我们可以通过监控这些数据、监控这些数据来做得更好。如果这个上升,我们知道我们遇到了问题。这意味着需要进行维护并修复这种振动或任何需要的振动。它经常出现在工厂车间的角色之间,这只是意味着对话通常不会发生,或者肯定是我们处理的制造现场的很多客户,这些对话只是没有出现,因此不会出现在我们面前一点也不。

Erik:好的,所以我们呼吁在此聆听的总经理考虑如何使用您的数据。

Iain:很明显,云在进行大量此类数据处理方面具有巨大潜力。但我们也看到与我们打交道的许多公司,他们对将工厂流程、工业内部流程和 IT 系统连接到云非常谨慎。我们部署的许多系统,我们尝试获得远程支持,以便访问 TeamViewer。当客户有问题时,与其开车、坐飞机、去现场支持他们,我们实际上可以看到屏幕,我们可以看到正在发生的事情,如果需要解决问题,我们可以与他们一起调整参数。

但即使只是远程访问车间的计算机,也可能非常非常困难,因为 IT 部门对于允许外部访问其内部流程非常谨慎。而且我认为我们将看到许多大公司必须做出决定的地方,他们是否将这些商业第三方云视为可以存储和处理数据的地方?或者他们是否看到我们拥有所有这些对我们公司有价值的专有数据?

我们真的不想相信世界另一端的云中的第三方,即使让他们处理数据有好处。再说一次,我认为这将非常缓慢地发生,当然从美国工业市场的角度来看,只是因为市场如此保守,人们担心打开他们无法控制的 IT 系统的大门。

Erik:嗯,那么我们可以说解决方案已经开始生产,但是在接下来的十年里,Fisher Smith 仍然面临着挑战和机遇的前沿。伊恩,我真的很感谢你花时间在这一步中介绍我们。这对我来说非常有趣,我相信我们的观众也是如此。人们联系您或联系您的团队的最佳方式是什么?

伊恩:很明显,我们的网站有关于我们所做工作的案例研究,关于我们是谁以及我们正在做什么的信息。这就是 www.fishersmith.co.uk。在那里,您会找到指向我们的 LinkedIn 和 Twitter 的链接以及类似的东西。因此,您可以了解更多关于我们日常工作的信息,查看我们的网站,随时与我们联系,我们可以聊聊机器视觉。

艾克:完美。好吧,我们将链接到那个。是的,再次,Iain,非常感谢今天的谈话。

伊恩:很好。谢谢你邀请我,埃里克。

Erik:感谢您收看另一个版本的工业物联网聚光灯。不要忘记在 IotoneHQ 的 Twitter 上关注我们,并查看我们在 IoTONE.com 上的案例研究数据库。如果您有独特的见解或项目部署故事要分享,我们很乐意在未来的版本中介绍您。写信给我们 erik.walenza@IoTone.com。

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.