引用
Roman Lukyanenko, Jeffrey Parsons, and Yolanda F. Wiersma. "The IQ of the crowd: Understanding and improving information quality in structured user-generated content." Information Systems Research 25.4 (2014): 669-689.
摘要
用户生成的内容（UGC）在许多情况下，被视为一种能被分析的大量信息。因此为了有效利用 UGC，必须了解其信息质量（IQ）。传统的 IQ 研究专注于公司数据，并将用户视为数据消费者。但是，由于具有不同专业知识水平的用户在开放的环境中提供信息，因此，当前 IQ 的概念已经瓦解。而且按照固定的类（例如实体关系图或关系数据库表）对信息需求进行建模的做法不必要地限制了用户生成的数据集的 IQ。我们进行了三个实验评估基于类的建模方法对人群 IQ 的影响，并提供了使用基于实例和属性的建模来改善人群 IQ 的途径。结果表明，信息准确性取决于用于建模领域的类，参与者在更普遍的层次上对现象进行分类时会提供更准确的信息。此外，与参与者从受限选择中选择的条件相比，当参与者可以提供自由格式的数据时，总体准确性更高。并进一步证明，相对于基于属性的数据收集，使用基于类的模型时会发生信息丢失。
关键字：系统设计与实施；实验室实验；信息质量；概念建模；众包；社交媒体;公民科学；用户生成内容
一、介绍
在众包中具有不同专业知识水平的用户提供信息，人群的 IQ 被定义为信息贡献者认为存储的信息代表了数据消费者和项目发起人感兴趣的程度。首先贡献者熟悉的类与用来处理 UGC 数据的信息系统中定义的类存在潜在的不匹配。其次，基于类的模型可能会对数据完整性产生负面影响。
之前已经有学者提出了两种理解和提高人群的 IQ 的观点（适合使用和以贡献者为导向），本文中我们研究了概念建模对 UGC 中 IQ 的影响，进行了三个实验来研究以类存储的实例对 IQ 准确性和完整性这两个维度的潜在影响。并提出以下两个命题：
命题 1：当信息的提供者对信息系统中所定义的类不熟悉时，基于类的信息模型导致信息准确性降低。
命题 2：当信息的提供者使用不包含某些提供者观察到的属性的类来记录实例时，基于类的信息模型会导致信息的丢失。
二、实验
公民科学是 UGC 概念的缩影。重要的公民科学项目如 eBird，主张将实体关系图作为“最佳实践”，并在关系数据库中实施。因此我们基于自然历史领域的一项公民科学项目进行了三个实验来评估基于类的模型对这些项目中贡献质量的影响。
1、实验一
实验目的：在自由形式的数据输入任务中，研究基于类的模型对准确性和信息丢失的影响。
假设 1.1 在自由形式的数据输入任务中，当贡献者对物种属级别的类不熟悉时，他们将频繁地在基础级别上对实例进行分类，并且错误更少。
假设 1.2 在自由格式的数据输入任务中，贡献者将使用“基本级别之下”的属性术语描述实例。
实验过程：选择了 247 名加拿大商科专业学生，选择了 18 幅本土的植物和动物的图像。这些参加者被随机分配到两个研究情境中。情境一中（类别和属性，122 人）参与者获得带有两列的表格。一列要求参与者（使用一个或多个单词）在图像上命名该对象；第二列要求他们列出最能描述图像上对象的特征。情境二中（只有类别，125 人）只要求他们列出最能描述图像上对象的特征。获得结果后，对数据进行编码，将类别编码为“基本级别”，“物种属级别”或“其他”。属性被编码为“基本级别”，“基本级别之上”，“基本级别之下”或“其他”。
实验结果：（1）对情境一中 122 个参与者对图像类别的描述结果进行分析，我们发现绝大多数图像“基本级别”的类型描述频率远大于“物种属级别”的描述频率；之后对描述的正确性进行检验，发现绝大多数图像中，“基本级别”的类型描述正确率远大于“物种属级别”（2）对情境二中 125 个参与者对图像属性的描述结果进行分析，发现绝大多数图像“低于基本”的属性描述频率远大于“基本级别”的属性描述，这表明“基本级别”的描述不能有效地捕获参与者提供的信息。
2、实验二
实验目的：在实施预定义的基于类的架构时，研究关于基本级别与物种级别分类的相对准确性的发现是否继续成立。
假设 2：在受约束的（基于类的）数据输入任务中，当贡献者对物种级别的类不熟悉时，他们将在多级别条件下的基本级别对实例进行分类，并且错误更少。
实验过程：选择了 77 名商科专业学生，选择了 10 幅本土的植物和动物的图像。这些参加者被随机分配到两个研究情境中。情境一在单级别条件下（38 人），参与者从可能的物种级别列表中进行选择。情景二在多级别条件下（39 人），参与者从包括基本级别以及基本级别之上和之下的选项中进行选择。
实验结果：在多级别条件下预测的基本水平上的响应比例显著大于在单级别条件下物种水平上的正确响应且正确率更高。
3、实验三
实验目的：在实验 3 中，我们试图排除对实验 1 和 2 中发现的可能替代解释。
假设 3.1 在受约束的（基于类的）数据输入任务中，当贡献者对物种级别的类不熟悉时，他们将在多级别条件下的基本级别对实例进行分类，并且错误更少。
假设 3.2 与基于类的数据输入任务相比，在自由格式的数据输入任务中，贡献者对实例进行分类时错误更少（无论前者使用的是单级分类还是多级分类）。
实验过程：选择了 66 名商科专业学生，使用的图像与实验二相同，但增加了实验一中使用的三种熟悉的物种，这些参加者被随机分配到三个研究情境中。情境一（单级别，23 人）参与者从可能的物种级别列表中进行选择，情境二（多级别，21 人）参与者从包括基本级别以及基本级别之上和之下的选项中进行选择，情境三（自由形式，23 人）发给他们空表要求对图像命名。
实验结果：（1）结果与 H1.1、H2 是一致的，这支持了 H3.1，表明准确性取决于向用户提供与用户更喜欢的分类模型更一致的分类结构。而且发现对用户熟悉的物种来说，大多数贡献者都愿意在物种属水平上进行分类。（2）自由形式下的整体准确性为 77.3％，而单级条件下为 35.5％，多级条件下为 66.7％也支持 H3.2。
三、结论
所有这三个实验表明，无论是在自由形式还是在受约束的数据收集任务中，基本级别的类别通常是信息贡献者最经常提供的，并且通常是最准确的分类级别；并且使用基本级别的类进行建模可能会导致严重的属性信息损失。这样的发现对于利用 UGC 有着重要的理论和实践意义。我们的研究还指出了基于属性和实例的建模方法对于改善人群 IQ 的潜力。
致谢
本文由南京大学工程管理学院 2019 级硕士李琰翻译转述。
感谢国家重点研发计划（2018YFB1403400）和国家自然科学基金（71732003，61772014）支持！
閱讀更多 慕測科技 的文章
