各国政府在采用人工智能（AI），尤其是生成式人工智能（gen AI）时，很可能采取更为谨慎的态度，因为政府主要负责处理民众的个人信息。且随着人工智能技术的不断发展，还必须要加强网络防御。那么，是时候追根溯源了。
凯捷亚太区首席执行官Olaf Pietschner在一次视频访谈中表示，私营和公共部门组织都对采用人工智能的安全性和道德问题感到担忧，但公共部门对这些问题更为关注。
Pietschner说，政府更倾向于规避风险，也就意味着政府对人工智能所需的治理和防护措施有更高的标准。他说，政府需要做到决策透明，但这要求人工智能驱动的流程具有一定的可解释性。
他补充道，因此，公共部门组织对人工智能模型产生的幻觉、虚假和不准确信息等问题的容忍度较低。SailPoint Technologies旨在提高云端企业的身份安全，其公共部门身份安全战略专家Frank Briguglio说，这就要求我们把重点放在现代安全架构的基础上。
当被问及采用人工智能对公共部门的安全挑战带来的变化时，Briguglio指出，保护数据并实施必要的控制措施更有必要，以确保数据不会暴露给从互联网上搜索训练数据的人工智能服务。
身份管理安全厂商CyberArk的首席运营官Eduarda Camacho说，在线身份管理尤其需要转变模式。她补充说，仅使用多因素身份验证或依赖云服务提供商提供的本地安全工具已经不够了。
此外，Camacho在接受采访时表示，只对特权账户实施更强的保护也是不够的。她补充说，随着生成式人工智能和深度伪造技术的出现，建立身份变得更加复杂。
与Camacho一样，Briguglio也支持以身份为中心的方法，他说，这就要求企业了解其所有数据存储的位置，并对数据进行分类，以便从隐私和安全的角度对数据进行相应的保护。
他在接受视频采访时说，他们需要能够实时地将策略应用到设备上，因为设备也可以访问数据。最终，他强调了零信任模型的作用，即每一次访问网络或数据的尝试都被认为是敌对的，都有可能危及企业系统。
授予访问权限的属性或策略需要准确验证和管理，企业用户需要对这些属性有信心。Briguglio指出，同样的原则也适用于数据和需要了解其数据存储位置、如何受到保护以及谁有权访问它的组织。
他补充说，身份应在整个工作流程或数据流程中重新验证，在使用凭证访问或传输数据时，对凭证的真实性进行重新评估，包括数据传输给谁。Camacho说，这强调了企业需要建立一个明确的身份管理框架，而目前这个框架仍然非常分散。她表示，管理访问权限不应该仅仅根据用户的角色而有所不同，她敦促企业投资于一项战略，这种战略假定其组织中的每个身份都是特权身份。
她补充道，假设每个身份都可能被泄露，而人工智能的出现只会加剧这种情况。她指出，企业可以通过强有力的安全政策和实施必要的内部改革管理和培训来保持领先。这对公共部门来说至关重要，因为越来越多的政府开始在其工作环境中推出人工智能工具。
事实上，据凯捷公司对全球1100名高管进行的一项调查显示，80%的政府和公共部门组织在过去一年中增加了对人工智能技术的投资。约74%的人认为这项技术在帮助推动收入和创新方面具有变革作用，68%的人已经在进行一些人工智能试点。不过，仅有2%的企业已在其大部分或全部职能或部门启用了人工智能功能。
虽然该行业98%的组织允许其员工在某种程度上使用生成式人工智能，但64%的组织对此类使用进行了管理。凯捷的研究指出，另有28%的组织将此类使用限制在特定员工群体，46%的组织正在制定负责任地使用生成式人工智能的指导方针。
然而，当被问及对人工智能伦理的担忧时，74%的公共部门组织指出，他们对生成式人工智能工具的公平性缺乏信心，56%的组织表示担心生成式人工智能模型中的偏见会导致客户使用时有负面作用。另有48%的组织强调，用于训练生成式人工智能应用的基础数据不够清晰。
关注数据安全和治理
事实上，随着越来越多的政府服务实现数字化，遭受网络威胁的风险增加，人们对数据安全的关注度也在不断提高。
新加坡数字发展与信息部（MDDI）上个月透露，2023财年发生了201起与政府相关的数据事故，相较前一年增加了182起。该部将这一增长归因于数据使用的增加，因为更多的政府服务被数字化，面向公民和企业。此外，现在越来越多的政府官员意识到报告事件的必要性，MDDI称这可能是数据事件增加的原因之一。
MDDI在其关于新加坡公共部门为保护个人数据所做努力的年度报告中表示，在2023年4月至2024年3月的过去一年中，共实施了24项举措。其中包括该部门中央隐私工具包的一项新功能，该功能对2000万份文件进行了匿名处理，并支持公共部门的20多个生成式人工智能用例。
政府的数据丢失保护（DLP）工具也得到了进一步改进，该工具可防止政府网络和设备中的机密或敏感数据意外丢失。MDDI表示，所有符合条件的政府系统现在都使用中央账户管理工具，该工具可自动删除不再需要的用户账户。这降低了离职人员未经授权访问的风险，以及有心之人利用休眠账户设计漏洞的风险。
Pietschner说，随着数字服务的使用越来越多，数据暴露、人为疏忽或技术安全漏洞带来的风险也越来越高。他说，当出现问题时，就像CrowdStrike的故障所暴露的那样，企业希望更快地推动创新，更快地采用技术。
他解释说，这凸显了使用最新IT工具和采用强大补丁管理策略的重要性，并指出未打补丁的旧技术仍然是企业面临的最大风险。Briguglio进一步补充说，这也说明了坚持基本原则的必要性。他说，在没有进行回归测试或首先在小范围内进行测试的情况下，不应推出安全补丁和、更改核心内容。
Pietschner补充说，指导企业在发生数据事故时如何应对的治理框架同样重要。他举例说，公共部门的组织必须公开并披露违规事件，这样公民才能知道他们的个人数据被暴露的时间。他说，还应针对生成式人工智能应用实施治理框架，其中应包括指导员工采用Gen AI工具的政策。
然而，据凯捷公司对全球1098名高级管理人员和1092名软件专业人员进行的另一项研究显示，63%的公共部门组织尚未确定软件工程的治理框架。尽管如此，该行业88%的软件专业人员仍在使用至少一种未经其组织正式授权或支持的生成式人工智能工具。凯捷指出，这一数字是全球研究中所有受访垂直行业中最高的。
Pietschner说，这表明管理至关重要。他说，如果开发人员使用未经授权的生成式人工智能工具，就会无意中暴露本应受到保护的内部数据。他指出，一些政府已经创建了定制的人工智能模型，以增加信任度，并使他们能够监控其使用情况。这样就能确保员工只使用授权的人工智能工具，从而保护所使用的数据。
他说，更重要的是，公共部门组织可以消除其人工智能模型中的任何偏见或不实期待，并应设置必要的防护栏，以降低这些模型产生与政府价值观或意图相悖的反应的风险。他补充说，零信任战略在标准化程度较高的公共部门更容易实施。例如，通常有共享的政府服务和标准化的采购流程，这使得更容易执行零信任政策。
今年7月，新加坡宣布将发布技术指南并提供“实用措施”，以加强人工智能工具和系统的安全性。政府表示，这些自愿性指南旨在为希望提高其人工智能工具安全性的网络安全专业人员提供参考，并可与现有的安全流程一起采用，以应对人工智能系统中的潜在风险。
Briguglio提到，生成式人工智能的发展日新月异，每个人都还没有完全了解这项技术的真正威力以及如何使用它。它呼吁计划在决策过程中使用生成式人工智能的组织，包括公共部门组织，要确保有一定的人工监督和治理，以管理访问和敏感数据。他说：“在我们建立和完善这些系统的过程中，我们需要确信我们围绕生成式人工智能所采取的控制措施足以保护我们所要保护的东西。”我们需要牢记这些基本原则。
Pala Alto Network公司美国公共部门业务负责人Eric Trexler说，人工智能使用得当，可以与人工合作，提高企业的竞争力。错误可能会发生，因此需要正确的制衡。Trexler在一次视频采访中详细介绍了人工智能在使用得当的情况下可以帮助企业降低受到网络威胁的风险。
他回顾起之前管理某个进行恶意软件分析团队的经历，表示自动化可以有效提高效率。他指出：“我们只是没有足够的人手，有些任务机器做得更好。”他说，包括生成式人工智能在内的人工智能工具可以帮助“大海捞针”，而当每天的安全事件和警报数量高达数百万时，人工很难做到这一点。他补充说，人工智能可以在一系列收集数据的多方面系统中寻找标记或指标，并创建事件摘要，然后人工可以对其进行审查。
Trexler还强调，必须认识到事情仍有可能出错，并建立必要的框架，包括治理、政策和操作手册，以降低此类风险。
（机器翻译，轻度译后编辑，仅供参考）
编辑：杜曼曼
审校：张媛媛
