如何训练一个公平的算法？CMU提出基于公平表示的新方法

几乎所有的方法都需要在某种程度上权衡准确性以降低依赖性。[Calders等，2009]

本文内容来自将门机器学习社群

本文为将门好声音第31期，也是NeurlPS 2019系列分享第·9·期。

这次要介绍的是卡耐基梅隆大学的在读博士赵晗及其团队发表在NeurIPS 2019的工作—— 算法公平性以及其效用函数之间有怎样潜在的本质权衡？

如果你也想与广大群友分享自己的研究工作、文章观点、出坑经验，点击“阅读原文”或联系将门小姐姐！只要内容合适，我"门"送你头条出道！

论文链接：

https://arxiv.org/pdf/1906.08386.pdf

关于作者

赵晗是卡内基梅隆大学机器学习系的博士生，师从Geoffrey J. Gordon教授。在来到CMU之前，他本科毕业于清华大学计算机系，并且在滑铁卢大学获得了数学硕士学位。他的研究兴趣在于机器学习中的表示学习以及快速准确的不确定性推理。

随着机器学习在刑事判决，医学检测，在线广告等高风险领域中的普遍应用，保证自动化决策支持系统不携带历史数据上可能存在的偏见或歧视显得尤为重要。广义上来说，关于算法公平性的相关文献中针对公平有两个核心概念。其中一个是个体公平，它要求算法对相似的个体进行公平的相似对待。然而在实践中，通常很难找到或设计一种社会认可的个人间的相似度量标准。

而在这篇文章中，研究人员关注的是公平性的另一方面，即群体公平、或者被称为统计均等（statistical parity），其本质上是要求预测模型输出的结果在不同子群体之间相等。

让我们用一个贷款发放的例子来说明这一问题，假设虚拟世界中有两类人：圆圈族和方形族。自动贷款审批系统C的目标在于，在给定的贷款申请描述下，预测出放贷后申请者能C(X)=1或者不能C(X)=0偿还贷款。如果我们用A=0/1来描述贷款申请者分别来自于圆圈族和方形族，那么一个具有统计均等性的模型应该具有如下的特性：

也就是说，自动贷款审批系统应该给圆圈族和方形族申请人同样的贷款批准概率。这一概率主要由X,A,Y的联合概率分布决定，即申请者的描述，所属人群和申请人是否会还贷的基准标签。换句话说，统计均等特性要求预测模型C(X)独立于申请者的群体属性A:C(X)⊥A.

公平表示的学习

为了尽可能地建立一个近似满足统计均等特性和任务有效性的分类器，学习公平的表示方法是一种有效的解决方案。其目标在于从输入变量X中通过某种变换寻找一个富有表达能力的Z，它具有独立于A的表达但仍然含有丰富的分类信息已得到分类结果Y。这一目标可以通过下面的公式来表示：

其中ϵ>0是一个预设常数，我们使用I表示两个随机变量之间的互信息。由于最近在深度神经网络在表示学习中的取得了较快的发展，上述优化问题可以通过对抗训练实现，如图2所示。需要指出的是，这种特定的方法至少可以追溯到Edwards等人。

学习公平表示的算法实现。中间部分的表示试图欺骗对手，其目的是辨别输入入变量的group属性是Circle A = 0还是Square A = 1。整个网络可以通过梯度下降来训练。

这里的目标是非常直观的：如果我们设法训练出特征变换Z可以迷惑非常强大的判别器，那么根据数据处理不等式（ data processing inequality）任何使用这种表示形式的预测模型也将是公平的，即满足统计均等性。

公平性和可用性间的权衡

上图中的模型包含两个目标并在训练过程中对它们同时优化。第一个是通过混淆对抗网络来确保统计均等，第二个是减少预测Y目标任务的损失函数来实现，它们通过超参数λ来进行融合。但统计均等性没有考虑与真实标签相关的信息。假设在某种情况下属性A与目标Y高度相关，要求预测器满足统计均等性将大幅降低预测器的性能。

上图显示了统计均等性与最佳决策之间的权衡。在此示例中，由于Circle和Square两类人群之间的还款率不同，为了符合统计均等性，决策者必须拒绝向某些能够偿还的Circle申请者的贷款（左）或向某些会违约的Square申请者的贷款（右）（摘自《The Ethical Algorithm》一书）。

该图显示了一个例子，在授予贷款的情况下Circles的偿还率（90％）高于Squares的偿还率（80％）。但根据统计均等性，任何公平的预测者都必须以相同的比率向圆圈族和方形族提供贷款。

例如，一个公平的分类器将以相同的比例贷款给80%能偿还的方形族，也以相同的比例贷给能偿还贷款的80%圆圈族（图1左）。但这意味着圆圈族中能偿还的贷款的10％被拒绝贷款。

或者，公平的分类器也可以向将要偿还的90％会偿还贷款的圆圈族，和80%会偿还贷款的方形族以及10%会违约的方形族发放贷款。上面两个例子中都显示了为了满足统计均等标准，公平分类器都必须在预测准确性方面蒙受一些损失。虽然还有许多其他可能的公平预测指标，但有没有可以减少损失的指标呢？作者在最近NeurIPS'19的论文中证明了从某种意义上说上述两个公平分类器实际上都是效用最优的。

用数学公式表示下面的形式： 为在A=a∈{0,1}上得到的二进制分类误差。定义:

是各组之间基本比率的差额。下列定理成立：

定理1. 对于满足统计均等的任何预测变量

在上述贷款发放例子，圆圈族和方形族之间的还款率之差为10％，因此ΔBR= 0.1。需要注意的是上述两个公平分类器在圆圈族或方形族上的错误率均为0.1。根据定理1，对于任何公平分类器，两组的错误率之和必须至少为10％，因此它们都是最优的。

定理1非常直观，它本质上在说：当各组的基准比率不同时，任何满足统计均等性的公平分类器都必须对至少一个组产生较大的误差。具体来说，根据鸽巢原理不难发现任何公平分类器都必须对每组至少产生ΔBR/2的错误率。

此外这种结果与算法无关并普遍成立，即使大型训练集将无济于事。下面将仔细分析一下看一下ΔBR的数值结果：

如果A⊥Y，则Pr(Y=1∣A=0)=Pr(Y=1∣A=1)。

这意味着ΔBR=0 ，意味着如果group属性独立于分类目标，则上述结果下限变为0，因此没有权衡。如果几乎可以肯定A=Y 或A=1−Y那么ΔBR的最大值为1。在这种情况下，任何公平分类器都必须至少产生一个至少为0.5的错误。通常来说ΔBR的取值在0到1之间，代表了在二进制分类下的公平性和效用之间的权衡。

公平表示学习的权衡

定理1仅在“精确意义上”成立：预测变量需要精确地满足统计均等性。但在实践中由于训练数据量有限或模型容量有限精确满足很难实现。当预测变量仅近似满足统计均等标准时，我们是否有可能表征这种内在的权衡呢？如果可以，那么这种表示的属性将在哪里以及将如何发挥作用呢？

事实证明，这种近似有助于减小定理1的下界。将Da，a∈{0,1}定义为在给定A=a时D的条件分布。针对特征转换函数g:X→Z，定义为Da在g作用下的前推分布（pushforward distribution ）。此外利用(⋅,⋅)来表示两个概率分布间的总变分距离（ total variation distance ），从而可以得到以下的定理：

定理2 令g:X→Z为特征变换。对于任何（随机）假设h:Z→{0,1}，在预测器作用以下不等式成立：

首先很清楚的是，当时，定理2将退化为为定理1的下界。在这种情况下再次根据数据处理不等式，作用于Z的任何假设h也将在各组之间产生相同的结果比率，因此是公平的。

其次，可以发现到越小，下限越大。因此，当ΔBR大时，不同组的表示对齐程度越好，组间的错误总和也越大。

值得指出的是，选择总变分距离作为分布对齐质量的度量并没有什么特别之处。在论文的第3.2节中，我们提供了使用f-散度进行一般分析，可以将其实例化以获取类似的下限，但也可以使用诸如Jensen-Shannon距离，Hellinger距离等其他散度度量。积极地来讲在某些条件下还表明，学习公平的表示形式有助于实现另一种公平，即准确性均等性，它要求预测模型在各个群体之间的错误率相等。

实验结果

上面的下限意味着不同类别间过度对齐特征的分布将不可避免地导致较大的联合误差。为了验证这一现象，研究人员在真实数据集UCI成人数据集(Adult dataset,)上进行了实验。这里的任务是关于收入预测≥50K/年，对应的分类属性是Male / Female。对于成人数据集，ΔBR= 0.197，即在1994年年收入大于5万的男性比女性多大约19.7％。hat 研究人员实现了图2中的模型，并在0.1、1.0、5.0和50.0之间改变了对抗损失的融合超参数λ。结果如下图所示：

统计均等性与总错误率在不同权衡超参数下的结果比较

上图中显示了三个指标随λ的增加而变化。第一深灰色条对应于联合误差，即，这是Adult数据集的整体误差。第二个红色条表示各个组之间的错误总和。这恰好是在定理1和定理2中出现的下界。第三个浅灰色条对应于一个差距分数，用以衡量满足统计均等性的程度。更具体地说，它是：

显然差距分数越小，预测变量就越满足统计均等性。实验结果与理论分析相同。随着λ值的增加，差距得分迅速减小，并且当λ= 50.0时，相应的预测变量已经非常接近以满足统计均等性的要求。另一方面也可以观察到，随着λ值的增加红色条也迅速增加，最终不同组间的误差总和超过0.36。值得注意的是，黑色水平线对应ΔBR= 0.197，所有红色条都在该水平线上，这与我们的理论结果一致。在实际使用中，ΔBR= 0.197非常容易计算，并且可以作为对任何公平分类器必须满足的总误差的限制，而无需实际训练这些公平分类器。

总 结

理解性能和统计均等性之间的基本权衡既有趣又充满了挑战。本研究展示了在二进制分类情况下这种内在权衡简单直观的表征：当基准比率在各组之间不同时，任何统计均等意义上的公平分类器都必然会在至少一个组上产生较大的误差！在回归情况下找到这种表征的问题仍然悬而未决，目前尚不清楚如何将当前的证明策略拓展到分析回归问题中的类似权衡。

另一方面，研究结果表明将统计均等定义为公平性存在一定缺陷。在定义算法公平性时同时应该考虑目标的相关信息。例如，均等几率和准确性均等性是组公平性的两个可替代的定义，它们都与理想的预测模型兼容。在作者另一篇ICLR 2020论文中提供了一种算法，可以通过对表示的学习，在二进制分类条件下同时近似实现这两个指标。感兴趣的朋友可以参考以下链接：

https://openreview.net/forum?id=Hkekl0NFPr

ref：https://www.zhihu.com/question/263336767?sort=created

关于我门

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

将门创新服务专注于使创新的技术落地于真正的应用场景，激活和实现全新的商业价值，服务于行业领先企业和技术创新型创业公司。

将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容，使创新成为持续的核心竞争力。

将门创投基金

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: [email protected]

閱讀更多 將門創投 的文章

關鍵字: 数学 2019你为谁骄傲 算法