在生成式人工智能的崛起下,以及这十年来人工智能在各行各业的快速应用和民主化的影响下,数据的独特重要性越来越凸显。有效管理数据已成为这个商业时代的关键,这使得数据从业人员(包括数据工程师、分析工程师和机器学习工程师)成为数据和人工智能革命的关键人物。
未能利用自身数据的企业将落后于其竞争对手,并错失为自身和客户挖掘新价值的机会。随着数据数量和复杂性的增加,其挑战也在增加,迫使企业采用新的数据工具和基础设施,这反过来又改变了技术人员的角色和任务。
随着企业责任的扩大,数据从业人员的角色也发生了最重大的变化。数据工程师现在不再是在一个孤立的数据团队中工作,他们在开发平台和工具,这些平台和工具的设计提高了整个组织员工(包括分析工程师、数据科学家、数据分析师、机器学习工程师和业务利益相关者)的数据可见性和透明度。
本报告通过对专业数据从业人员的一系列采访,探讨了数据工程的关键转变、数据从业人员所需的不断发展的技能组合、支持人工智能的数据基础设施和工具选项,以及与生成式人工智能同时出现的数据挑战和机遇。报告的主要结论如下:
数据的基础重要性对数据从业人员提出了新的要求。人工智能的兴起比以往任何时候都更清楚地表明了数据的商业重要性,数据从业人员正面临着新的数据挑战、数据复杂性增加、团队结构经历演变、新兴工具和技术出现,新的组织重要性也确立了起来。
数据从业人员越来越贴近业务,而业务也越来越贴近数据。从数据中创造价值的压力促使企业高管对数据相关职能进行更多投资。数据从业人员被要求扩大对业务的了解,更深入地参与业务部门的工作,并支持数据在组织中的使用,而职能团队则发现他们需要自己的内部数据专业知识来利用他们的数据。
数据和人工智能战略已成为业务战略的重要组成部分。企业领导者需要对数据和人工智能战略进行投资,包括对数据团队的组织结构、数据平台和架构以及数据治理做出重要决策,因为每个企业的关键差异化因素将越来越多地体现在数据上。
数据从业人员将决定如何在企业中部署生成式人工智能。生成式人工智能部署的关键考虑因素是产生高质量的结果、防止偏见和幻觉、建立治理、设计数据工作流、确保合规性,这些都是数据从业者的职责,这让他们对如何将这项强大的技术投入使用具有极大的影响力。
(机器翻译,轻度译后编辑,仅供参考。)
编辑:李旭媛