无用的机器学习

通过解决信任时刻设计有用的ML

> Photo by Aserusainhuu on Unsplash

TL; DR-许多ML应用程序在理论上很有用，但在实践中却变得毫无用处。 让我们看一个真实的案例研究，重点介绍两种类型的偏见，以及如何理解"信任时刻"可以如何通过一个具体例子提供帮助。 最后，我要考虑三个小动作。

故事

我内心的声音："她有外遇吗？ 她一定是。 **我！" 当你美丽的妻子突然在离家那么多夜晚的时候，你不能怪我这么想。她从此不必工作太多。

因此，我问："怎么回事？ 你最近怎么这么忙 一切都好吗？"

杰西："我不知道你们为什么再继续制作这些无用的AI东西！ 他们不断使我们做更多的工作。" 好吧，我完全没有看到那件事。 还有哦 作为一个充满爱心的丈夫，正确的做法是给她一个拥抱并承担更多的家务劳动（是的，我做到了。）

更重要的是，为了满足我的自私好奇心，追求更好地完成自己的工作以及促进机器学习社区的进步，我需要倾听。

因此，我进行了调查："告诉我更多。 发生了什么？ 你为什么这么说？"

两种类型的偏见和不同的问题

杰西继续说："我们有了这个新的Next Best Action应用程序[ML应用程序]。 每个星期，它会向我们提供要致电的客户列表和要提供的产品。 真是无用 我看清单。 我与大多数客户一起工作； 我知道他们不会购买该产品……这是浪费时间，但是我们仍然必须这样做才能使KPI看起来更好。"

Jess刚刚描述了每个ML应用程序都面临的两个独特问题。 让我们打开包装：

1.机器偏差。 机器错误； 我们人类是正确的。 机器学习模型不是也不是完美的，即使我们希望并认为它们是完美的。 人们在进行日常工作时会看到大量数据，随后将其内部化为直觉和知识。 但是此类数据可能无法在数据库中正确收集或表示。 结果，机器无法充分分析并做出更好的预测。

2.人的偏见。 机器是对的； 我们错了。 人类有过分自信的偏见。 换句话说，我们通常会高估预测的准确性，尤其是在我们的专业领域。 也许，机器实际上比我们了解更多和最新的信息。 因此可以产生更好的预测。 但是我们比机器更信任自己。

ML社区中的我们许多人可能会立即问：我们如何修复机器（例如模型）？ 公司正在招聘更好的数据科学人才，实施更严格的ML Ops实践，并升级到更好的工具。 但是，这样做只能解决机器偏差问题。 一条链与最薄弱的链接一样牢固：ML应用程序的用户。

我们无法消除人为的内在偏见，但我们可以为信任而设计。 有了信任，用户就更愿意与机器进行协作。 那么，我们如何在用户和ML应用程序之间建立信任？ -这是我们应该问的问题。

让我们来看一个具体的示例，并讨论如何使用"信任时刻"分析和简单的UX技术进行信任设计。

一步一步来

实际上，"无用的机器学习经验"是一个反复出现的主题。 我和杰西在不同的场合遇到了类似的问题。 正如我在《人工智能的最后一英里问题》中所述，归结为人与人工智能协作的脱节。 解决问题需要采用综合方法来解决三个方面的问题。

> Author's Analysis, The Last Mile Problems of AI

如果我们不解决这个问题怎么办？ 如果我们不解决信任问题，每个人都会感到沮丧。 像Jess这样的用户将不断抱怨" AI事物"是无用的，并且由于自偏而无法从惊人的技术中受益。 数据科学家可能会失去工作，因为模型的实际结果将永远与理想的估计不符； 企业将永远无法实现AI的承诺价值； 最重要的是，我将不得不继续听Jess，我在数据科学领域的朋友以及我的客户互相抱怨。

要构建有用的ML应用程序，我们需要采取许多步骤。 为信任而设计是伟大而简单的第一步。 现在就采取行动。

建议的动作：

· 在公司中识别面向用户的ML用例

· 将用户旅程和信任时刻分析整合到您的ML设计工作流程中

· 主持基于信任时刻的协作设计会议，与来自数据科学，工程和用户组（例如前线）的代表进行交流。

更深层次的问题与解决方案

信任的时刻＃1：让我们看一下步骤4。这是用户看到预测，了解预测的含义并决定是否应该以及如何采取行动的那一刻。

问题：用户没有根据预测采取行动。 通常，用户会看到提供或要做的事情的简单描述（请参见左侧的插图）。 当用户需要决定是否要遵循时，他们会盲目相信或倾向于当前的判断。 考虑到我们的过度自信偏见，我们倾向于选择后者。

换句话说，许多预测（数据科学家们全心全意地做出的预测）从来没有真正"进入市场"。 它们只是在用户的屏幕上闪烁，然后消失。

这导致了另外两个问题。 首先，由于错误的原因，用户与机器的交互将在数据库中被捕获为"失败"。 机器认为由于数学错误，交互失败。 但实际上，它失败是因为用户没有采取行动或未正确执行。 其次，当机器学习时，他们会学习错误的现实。 这就是所谓的反馈回路问题（我们将在下面讨论）。 结果，它造成了产生不合情理的预测的恶性循环，并最终破坏了用户的信任。

这些不是预测问题。 他们是UX问题。

目标：此步骤的主要目标应该有两个：1）增加采取的行动的百分比，2）提高行动的质量。

解决方案：考虑到这一点，我建议用上下文提示代替上下文脱离的建议。 上下文提示应突出显示使用人类可读语言执行ML预测的"为什么"，"什么"和"如何"（左图）。 根据算法的类型，有多种方法可以将机器决策转换为人类可读的语言。

> Step 4 — Presenting Suggestions: The Problem (Left) and The Fix (Right); Author's analysis & expe

信任时刻＃2：让我们看一下用户共享笔记的第7步。

问题：用户无法提供良好的反馈。 通常，此界面允许用户跟踪进度并与其他成员进行协调。 但是，它通常不是为了捕获ML应用程序的反馈而设计的（也没有激励用户这样做）。 如前所述，损坏的反馈回路或不良的反馈回路都会为ML模型从错误中学习造成问题。 就像人类一样，良好的反馈使我们能够更快更好地学习。

目标：在此步骤中，主要目标是鼓励用户为自己和机器分享更好的反馈。

解决方案：最简单的解决方案是使用大多数人熟悉的UI元素。 这些UI元素可以帮助标准化输入并缩短输入信息的时间。

> Step 7 — Collecting Feedback: The Problem (Left) and The Fix (Right); Author's analysis & experie

ML应用程序除了提供用于捕获反馈的UX外，还可以共享其如何使用反馈来改进未来的预测。 这可以给用户带来参与感和奖励。

注意：所有截图均已保密。 它们代表具有类似应用程序的组织中的常见元素。

信任时刻

注意：以下示例受Jess作为前线工作的启发，该工作需要亲自为客户提供服务。 尽管它只关注一个用例，但是这些原理适用于人类需要从ML应用程序中获取信息并决定如何采取行动的许多过程。

为了更清楚，更具体地了解问题，首先，我们应该看一下"信任时刻"，即人们需要基于对机器的信任进行判断时的瞬间。 我们可以通过使用用户旅程分析来突出显示这些时刻。

想象一下，当您去一家银行的分行与一名顾问会面时，这是从顾问的角度来看的典型旅程-ML应用程序的用户：

> Moments of Trust Analysis, Author's Experience

了解信任的时刻有助于我们找到用户可能无法接受机器学习系统的预测时的特定压力点。 让我们解开每个信任时刻揭示的问题。

结论

许多ML应用程序被用户认为是无用的，不是因为预测的准确性，而是因为人为偏见。 作为ML应用程序的设计者和开发者，我们有责任进行信任设计。

解决方案通常很简单。 通过确定信任时刻，我们可以设计有效的用户体验，以提供更多的上下文预测，并闭合反馈循环，从而实现持续改进。

实际上，我们，人类和机器都不完美。 为信任而设计不仅提供快速解决方案，还为人类和机器架起了一座桥梁，以校准我们的信任并共同提高。

参考

人工智能时代的控制与简单-https://design.google/library/control-and-simplicity/

人工智能与设计：以人类为先-https://design.google/library/ai-design-roundtable-discussion/

以人为本的机器学习-https://medium.com/google-design/human-centered-machine-learning-a770d10562cd

建立人与机器之间的信任-https://robotics.mit.edu/building-better-trust-between-humans-and-machines

人与机器之间的信任与决策辅助工具的设计— https://www.sciencedirect.com/science/article/abs/pii/S0020737387800135

喜欢您阅读的内容吗？ 在Medium，LinkedIn，Twitter上关注我。 您是否想学习如何交流并成为有影响力的数据科学家？ 查阅我的"对机器学习的影响"指南。

(本文翻译自Ian Xiao的文章《Useless Machine Learning》，参考：https://towardsdatascience.com/useless-machine-learning-momemts-of-trust-54c5a6c5f701)