人工智能和机器学习在商业界的应用正越来越普遍，但企业在依赖技术并完全放弃人类雇员之前，需要考虑许多因素。

瑞典流行乐团ABBA的粉丝们现在可以借助数字虚拟技术观看乐团成员的数字增强化身“Abba-tars”的演出，感受乐团在1970年代全盛时期的魅力。这场在伦敦举行的虚拟演唱会就体现了人工智能（AI）替代人类这一越演愈烈的趋势。韩国流行乐坛（或K-Pop）也在做类似的尝试。韩国流行音乐女团Eternity最近发布了单曲《I’m Real》（我是真的），但这个名字却令人啼笑皆非，因为就像 ABBA乐团成员的数字增强化身“Abba-tars”一样，这个乐团的11名成员其实并非真实存在，而是用人工智能创造的虚拟人物。

如果娱乐业正朝着这个方向发展，那么商业的其他方面呢？未来还需要人类吗？我们将把什么样的决策交给人工智能？如果这样做，什么地方可能出错呢？ 这些都是科幻小说的读者津津乐道的问题，但幸运的是，对于司库人员以及他们的公司而言，这些问题的答案远没有问题本身疯狂。

人工智能和机器学习（ML）是《今日资金管理》（Treasury Today）采访的司库人员经常提到的一个重要趋势。 麦肯锡合伙人，司库管理、风险管理和资本市场专家安德烈亚斯·博恩（Andreas Bohn）博士解释说，企业司库主要使用人工智能来优化对冲决策，预测现金流及市场参数，提高数据质量。

这些应用是否存在任何风险？机器会不会因为自我学习而跑偏，从而做出错误的决定？博恩指出：“总是存在着预测错误的风险。”这些问题通常与应用所使用的数据有关。数据可能是人工输入的，质量可能不高，也可能存在错误。 “需要设定保护机制，避免算法受到错误数据的影响，”他补充道。应用 “人机回圈”（human-in-the-loop）的概念——即在人类的参与下开发人工智能和机器学习，对于确保技术的开发使用与风险偏好、业务需求和规范相一致非常重要。

到目前为止，司库人员似乎还没有过度依赖这些工具，走向科幻小说中的情景。“如果人们犯了错误，那更多是因为对现状的依赖，无法设想出常规参数以外的情景，”博恩评论道。例如，在能源危机期间，有人甚至无法想象能源公司会破产或能源价格会暴涨。“这些算法在大多数情况下仅仅处于测试阶段。我所观察到的是，它们仅仅作为一种额外的工具被司库所使用，就像是常规活动以外的一种补充，”博恩补充道。

就人工智能的风险问题，专业数据保护和隐私咨询公司Securys的创始人兼负责人本·拉普（Ben Rapp）评论说，企业司库对这些工具的使用不太可能引起人们的担忧。他指出，人工智能的道德困境正在成为企业和监管机构热议的话题。相比于企业司库，金融机构面临的挑战更大。

更广泛地说，企业正在依靠人工智能和机器学习做出战略决策。荷兰格罗宁根大学（University of Groningen）治理和创新教授安德烈·齐特（Andrej Zwitter）指出，在将人工智能作为战略决策框架进行实施时，有一些需要着重考虑的因素。他解释说，对于传统的分析和商业智能，数据、过程和分析技术等都是清晰的，结果也是透明的。“而自动化决策依赖数据抓取，但数据的质量往往得不到保证。”

“而且人工智能大量使用复杂的统计学和数学，由于过程如此复杂，所以决策的依据让人无法理解——就好像黑匣子一样，” 齐特补充道，“你没法去质疑它给出的建议。”

许多组织就依据有偏见的数据做出了决策。齐特提到替代性制裁为目标的惩教犯管理画像分析（COMPAS）的例子，美国的法院用它来预测罪犯的再犯率。然而，后来人们发现这个人工智能存在内在的种族偏见，因为它使用的是美国监狱的人口数据，而美国监狱中的非裔比例很高。此外，由于该软件由开发公司专有，法官们无法理解再犯率的判断是如何做出的，齐特解释说。

Securys公司的拉普也指出了训练数据的问题，并举了亚马逊的例子。2014年亚马逊曾经推出一个招聘工具，但后来不得不停用，因为它对理想的软件开发人员的预测使用了带有偏见的数据。机器通过有效的学习，预测一个 “好 ”的应聘者应为白人男性。拉普解释说，一旦机器走上这条道路，就几乎不可能纠正，因为你必须使用几乎同等数量的数据来平衡这种偏见——例如女性软件开发人员的数据——但这些数据并不存在。

纽约大学副教授，《不仅仅是故障：直面科技领域中种族、性别和能力的偏见》（More Than a Glitch: Confronting Race, Gender and Ability Bias in Tech）一书的作者梅瑞迪斯·布鲁萨德（Meredith Broussard）指出：“有一种看法认为，基于数据的决策更加客观、更加公平——但事实并非如此，因为根本就不存在无偏见的数据集。”她举例说，金融机构希望打造一个解决方案，以决定谁能获得住房抵押贷款；但该数据集却取自过去获得抵押贷款的人。她解释说：“社会科学家发现，过去的住房抵押贷款存在歧视的历史，而歧视就反映在数据之中。” 她特别提到非营利组织The MarkUp对抵押贷款申请中种族差异的调查，并认为所有企业都应该开展算法问责报告，以测试数据中存在的偏见。

拉普评论说，金融机构以及其他企业将不得不关心这些问题，因为欧盟很快将对人工智能的使用实施监管，涵盖透明度和追索权等问题。“监管将关注贷款人的权力和借贷双方关系不对称等广泛问题，”他说道，“这些监管法规将极大地加强对这些系统的审查。如果金融机构不能证明公允性，它们将遭受比现在更高额的罚款。”

人工智能将根据其风险水平进行分类，从不可接受的高风险到低风险或可忽略不计的风险。如果企业违反监管规定，它们有可能被处以最高达到全球销售收入6%的罚款。

拉普列出了一些对金融机构来说可能具有挑战的领域。反洗钱交易筛查和客户特征分析可能会对客户产生不利影响，特别是当出现假阳性结果时，一个“好”客户可能会因为自动决策的错判而无法访问自己的账户。

此外，使用击键模式特征或面部特征等生物识别技术用于登录银行账户也会产生问题。如果客户的手指受伤，不能正常敲击键盘，或者有黑眼圈，或者刚做了整形手术，尽管他们是真正的客户，但却会被锁定在账户之外。

当被问及是否存在不假思索地过度依赖这些工具的现象时，拉普说，使用和部署这些工具的人都知道其中涉及的道德问题。然而，一般普通大众——特别是如果他们看过很多科幻电影——更有可能认为人工智能比实际情况更加智能和强大。

齐特同意这一观点。 “人们认为这些工具很聪明很智能，但这些只是比喻的说法而已，并不代表实际意义。这些工具既不具有智慧也不算聪明。它们只是算法，根本上就是基于数据和规则的数学公式而已，并不具有智慧或智能，”他说道。

拉普对此表示赞同，说道：“它们是被训练用来完成特定任务的工具，在这方面可以做得非常好，而且看起来很聪明。”事实上，他补充说，有时当人们以为是人工智能在回答问题时，实际上却是呼叫中心的工作人员在键盘上给出的答复。关于此类话题，布鲁萨德推荐《屏幕背后： 社交媒体阴影下的内容管理》（Behind the Screen: Content Moderation in the Shadows of Social Media）这本书。这本书研究了在主流社交媒体平台上评估帖子时人类——而不是算法——作为调节变量的作用。

“人工智能非常适用于许多类型的应用”，特别是将无聊的任务自动化，布鲁萨德说道。“然而，人们如果高估了人工智能的能力就会陷入麻烦。当人们认为人工智能将成为有知觉的物种并取代人类时，他们必须牢记人工智能擅长什么、不擅长什么，平衡自己对它的期望。其实人工智能和机器学习这两个名词也具有误导性——它暗示计算机里有个大脑。”

我们很容易想象，人工智能将把我们引向一条道路，在这条道路上，机器已经教会了自己，将取代人类的存在，技术将变得无法控制——这就是奇点。这是我们真正需要关注的危险吗？人类注定要完蛋吗？关于奇点是否将至，齐特说：“人工智能的能力令人印象深刻，但我们对它的评价太高了——它其实就是零和一的组合而已。它没有自己的意图，也不能代表谁；除非我们为它指引方向，否则就不存在有主见的智能。我们没有理由相信，有一天人类将会失去对人工智能的控制——除非我们把所有的控制权，甚至把道德评判的标准都交给这些工具，” 齐特说道。

布鲁萨德也认为，人工智能不会威胁到人类的未来。“但我担心的是自动武器和外卖机器人的商业普及，甚至有人在机器人身上安装了枪支。” 她还举出旧金山警方提议允许警方机器人击毙嫌疑人的例子，称这是一个“可怕的想法”。 由于公众普遍表现出和她一样的想法和反应，该提议在2022年12月初被否决。

企业和司库部门似乎没有必要担心被机器接管，科幻小说中所描写的反乌托邦噩梦出现的可能性很低。当人们看到自己的偶像时，很可能会激动万分，就像人类一样。至少目前来说是这样。