我们都同意，人类擅长手工任务，理想情况下，机器人应该在这些功能上超越我们。有时，我们因为更灵巧而占优势，而在其他情况下，我们可以执行机器人理论上应该能够完成的任务。

随着机器人技术的进步，我们的目标是有效地将人类的技能转移到机器人上。

让我们探索一些如何实现这一目标的方法

首先，存在“直接编程”方法。这意味着：让熟练的人细致地描述一项任务，以至于可以编写简单的脚本或复杂的算法来指导机器人完成任务。当任务定义明确且具体时，这种方法非常好而且非常有效，这在工业自动化中经常发生。然而，复杂性可能会迅速升级，使其具有挑战性。因此，如果这种方法成功了，那就太好了——但如果不成功，我们必须思考——我们可以采用什么替代策略？

其次，可以考虑的另一种方法是“演示编程”。这种方法涉及指导机器人执行任务。通过为机器人配备先进的力传感功能和视觉算法，这种技术可以证明是非常有效的。然而，必须注意的是，它的有效性依赖于机器人的能力。通常，机器人配备的是基本的抓手，而不是熟练、灵巧的手，这会限制它们可以执行的任务的复杂性。

好的，那么我们如何才能有效地记录人类的动作以供机器人模仿呢？

理想情况下，我们会指导人类完成任务，详细记录下来，然后将其重播给机器人。我们甚至可以考虑将这些信息输入机器学习系统，使其能够从我们的人类指导演示中学习。或者，至少，我们可以分析这些人类活动，将它们分解成更简单的部分，并利用这些信息开发更高效的算法，就像在录音室中解构一首歌曲一样。

好的，那么，拍摄执行任务的人并使用“机器视觉”来追踪他们正在做的事情怎么样？

这当然是一个很好的起点。这种方法提供了对人类行为细微差别的宝贵见解——例如换手时刻、物体握持技巧和工具使用——但我们的经验是，使用相机跟踪人体运动非常困难。你需要清晰的视线，而且跟踪手指和手的细微动作会遇到很多麻烦。即使是超先进的基于图像的跟踪系统，虽然能够以最小的遮挡监控手部，但无法一致地跟踪所有关节运动。因此，生成的数据往往有些不一致和嘈杂。

好吧，那么使用动作捕捉怎么样？

动作捕捉系统通常用于电影制作和体育科学，其工作原理是将可见的标记物贴在个体身上，例如白点等被动元件或脉冲LED等主动元件。这种方法无疑有助于提高跟踪的准确性。但是，它并不能完全克服前面提到的与遮挡相关的问题。此外，将光学系统校准到误差小于几毫米的范围内是相当具有挑战性的——这意味着，如果任务涉及复杂的动作，例如在手指间转动笔，它很可能会错过很多。 

好的。我需要它准确，那么我的最佳选择是什么？

为了精确跟踪人体运动，最好的办法是使用紧身运动跟踪手套。这种手套可以结合多种技术来实现这一壮举，有些甚至提供额外的功能来协助操作员（有些则使操作员的操作更加困难）。例如，有些手套可以传递重量、触觉或硬度的感觉，所有这些功能都归类为“触觉”。触觉的范围很广，包括从向手指传输信号的超声波设备、电皮肤刺激、振动压电元件到充气气球、微型电机或线性致动器等各种技术。

测量人体手部运动的手套可以利用以下方法：

• 安装在关节周围并追踪关节特定运动的传感器
• 从手指的一端到另一端的机械连杆，跟踪手指的整个运动
• 惯性传感器（加速度计、陀螺仪和可能的磁力计的巧妙组合）佩戴在手上的各个位置，用于跟踪运动
• 无线测量传感器检测手指相对于手上某处佩戴的源的位置。
• 相机将视线从手上移开，并追踪世界的运动。（我不确定我是否见过有人使用这个，但我确信这是可能的）

即使如此，这些技术也存在多种变体。例如，一些传感器测量手套的弯曲度，将其与关节运动相关联。其他类型的传感器会拉伸并跟踪其自身的变形以测量距离。有时，机械连杆会放置在各个关节上，以进行精确的运动跟踪。 

每一种方法都提供了捕捉和解释人体运动的独特方法

我们的经验：

根据我们丰富的经验，我们发现准确测量人手的机械特性可能具有挑战性，因为它经常会导致严重的误差。测量传感器的放置至关重要，不幸的是，滑动的可能性很高——手套和类似设备往往会过度移动，使数据收集变得复杂。将测量结果与手指关节轴（尤其是拇指）的实际旋转联系起来是另一项艰巨的任务！

机械连杆虽然很有价值，但很快就会变得笨重。它们还可能使操作员感到不适，以至于无法完成任务（太重、太硬等）。惯性传感器是一种可行的选择；然而，（再次）防止它们漂移通常很困难，而且它们提供的精度水平通常达不到我们的需求

我们发现无线测量传感器，尤其是来自Polhemus的传感器，为我们提供了出色的结果。这些传感器包括一个戴在手掌上的发射源和位于指尖的接收器，为我们提供高质量的手部运动跟踪数据。然而，在更广阔的三维空间中定位手部仍然是一个挑战。对于这一点，我们发现HTC Vive是一个出色的解决方案，因此您经常会在演示中看到Vive跟踪器。

现在，我们想要准确地知道将机械手放在哪里，这与准确知道人手的位置并不完全相同。我们必须从人手获取数据并将其映射到机械手上。这是一个运动学挑战——人类的运动和机器人的运动并不完全一致，我们需要将两者相互转换。将人类数据映射到机械手的最佳方法取决于具体应用。例如，如果您需要实时控制机器人的手，那么直接映射可能是最佳选择。如果您只对控制机器人的手进行离线分析感兴趣，那么逆运动学或混合映射可能是更可行的选择。不用说，机器人越复杂，这项任务就越有挑战性。幸运的是，复杂的机器人是Shadow的专长！

因此，人类戴上一副手套，控制机器人完成任务。完成一些基本的训练任务后，操作员就掌握了这个过程，而且做得相当好。我们可以从中学到什么呢？

我们可以精确监控发送给机器人的指令并重现它们。这在所有变量保持一致的受控环境中操作时非常理想——这种情况在质量保证实验室的自动化环境中很常见。过去，我们采用这种技术来构建一个功能齐全的机器人厨房。虽然它允许您执行重复性任务，但它缺乏应对变化的能力。

我们可以捕获和分析来自大量测试的数据，评估它们的一致性。如果结果大致相似，则可以直接应用。但是，如果结果差异很大，我们可以深入研究我们的算法工具箱，尝试理解这些差异。这时，从机器人、力、触觉和关节传感器获取广泛的数据会有所帮助。问题出现了：我们能否利用视觉数据（例如对准工作区域的摄像头）来辨别不同之处？为了有效，这些视觉数据需要与机器人传感器数据同步，因此需要为所有数据流共享一个框架。

我们可以从多个测试中收集数据并通过“将其提供给人工智能”来使用 - 即用它来指导机器学习系统如何从类似的数据中复制类似的动作。

这可以通过多种方式实现。

我们可以在数据集上训练传统的学习模型，以便相似的输入产生相似的输出。或者，如果我们有足够的数据，我们可以使用变换器模型来生成动作。我们甚至可以将数据分解成更小的片段，并训练网络将这些片段组装成正确的序列。

鉴于现代机器学习系统在生成文本、图像、视频甚至代码方面令人印象深刻的能力，这种方法看起来非常有前景——而且这仅仅是一个开始！