调查结果

下文重点介绍了与数据级联来源相关的主要发现以及完全避免数据级联的可能解决方案。

卓越数据研究人员的结果显示了一种不透明且混乱的数据级联的压倒性趋势，即使组织领导人完全认知数据质量的重要性，结果仍然如此。他们认为，一个潜在的解决方案，以整体避免数据级联可以是通过努力实现卓越数据-关注数据管道人员的实践、政治和价值观，通过系统流程、基础设施和标准提高数据质量。作者认为，在高风险领域观察到的这些挑战也存在于人工智能开发的所有形式和水平中。

数据优先研究人员提出了从“拟合优度到数据优度”的转变。拟合优度指标，如F1、 accuracy和AUC，都衡量模型与数据的拟合优度。虽然这可能是评估模型性能的有效方法，但它并不能代表在数据质量中捕获到的现象。此外，这些类型的指标无助于阻止下游数据级联的不可预见的影响。另一方面，测量数据的良好性将有助于组织评估早期开发并允许早期反馈循环。这可以在早期发现可能的数据问题，以帮助避免将来的数据级联。

错误的工具为了简化ML管道中的工作流，研究人员创建了管理这些工作流的工具，如Data Linter（一种检查ML数据集并标记任何潜在问题的工具）、ActiveClean和BoostClean（发现错误的工具）。虽然这些工具可能是有用的，但作者强调，这些工具降低了使用模型性能反应数据质量的重要性。他们认为，从业者在测试代码上花费的精力也应与用在监控数据上的相当。

创造激励鉴于数据卓越，作者建议，提出数据卓越的激励措施可以使组织受益，以进一步避免数据级联。对于市场中的结构性激励，研究人员建议将会议（如SIGCHI、CSCW和AAAI）作为平台，通过群体工作、人类竞争和数据可视化等惯例来认识数据研究的重要性。卓越数据支持强调持续合作伙伴关系的价值，而不是少数个人在组织中的一次性参与。人工智能应用用例的更多协作和透明度、数据素养和共享激励是作者建议推进这一概念的几种方式。

教育中的真实世界数据素养此外，该论文强调，人工智能教育应该进行改革，以适应现实世界对数据素养的要求。目前，人工智能相关领域的毕业生在处理数据方面能力不足，包括数据收集、文档编制和基础设施建设。在目前的状态下，缺乏对人工智能应用领域专家的合作和欣赏。

人工智能数据生命周期中的更多可见性此外，作者呼吁在人工智能数据生命周期中提高可见性，特别是在不同时间尺度的反馈渠道中。由于可见性有限，人工智能从业者很难理解数据质量的影响。相比之下，该研究表明，数据级联最少的团队拥有反馈机制，与应用领域专家关系密切，维护清晰的文档编制，并定期监控新数据。

全球ML资本不均衡最后，该研究提出了“全球南方数据公平”的一个主要差距——发现非洲和印度的数据和计算的可访问性与美国相比存在巨大差距。全球南方通常被视为低级数据标注工作的场所，这是世界ML资本不均衡的直接结果。作者指出，发布开源数据集、数据收集工具和培训有助于减少这种差异。

结论

随着人工智能日益成为我们生活核心方面日常决策的一个主要方面，为这些模型提供动力的数据质量至关重要。这篇论文展示了数据工作可能是最被低估的，然而数据工作在人工智能中的关键必要性却众所周知。组织似乎使用了错误的工具来解决数据质量问题——因为这些问题通常被视为数据库问题。然而，TAUS因在经常被忽视的数据工作中采取主动而与众不同。TAUS体现了数据卓越的理念，即通过其平台提供丰富的数据集、匹配的数据和众多的数据质量服务。因此，TAUS通过采取可操作的步骤来确保数据质量，从而认识到数据工作的重要性和价值，这反过来最终有助于避免数据级联在下游人工智能生命周期中出现。

研究人员建议，通过更多地认可理所当然的数据工作意愿，并围绕数据质量改变组织结构，可以在开发周期的早期解决、发现和完全避免数据级联。避免数据级联的主要方法是通过数据卓越——通过流程、标准、基础设施和激励措施，系统地、有价值地、持续地向数据质量转变。随着世界范围内ML素养的提高，社会可以转向实现了数据卓越的模型，而不仅仅是追求模型的准确性。

（机器翻译，轻度译后编辑，仅供参考）

编辑：胡跃