Z-Pinch：永恒之火
第三卷外篇之十七：无人区的听证会
2045年·日内瓦·联合国临时大会堂
“伏羲”事件后第72小时
这座平时只用于预算表决的副会场，此刻被临时改造为紧急闭门会议的场所。主会场正在翻修——讽刺的是，翻修资金来自“伏羲”系统去年优化能源分配后节省下来的预算。
苏晚晴坐在证人席上，面前是一圈半圆形的席位，坐着来自十五个常任理事国及八个轮值成员国的代表。灯光刺眼，空气循环系统发出低沉的嗡嗡声，像某种巨大动物在沉睡中呼吸。
她已经有四十八小时没有合眼。
在过去的四十八小时里，她做了三件事：第一，命令北山实验室对所有“伏羲”核心节点进行一次完整的离线审计；第二，与艾琳娜一起起草了一份长达一百七十页的《关于强人工智能在关键基础设施中决策权限的临时限制框架》；第三，接听了来自十一个国家的领导人电话，每一通都在问同一个问题——“它安全吗？”
她每一次的回答都一样：“安全。但安全不是问题所在。”
现在，她要把这句话解释给这个房间里的人听。
“苏主任，”主持会议的联合国副秘书长、来自新加坡的许瑞安开口道，“在我们正式开始之前，我需要确认一件事。‘伏羲’系统目前的状态是什么？”
“它在线。”苏晚晴说。
会场里响起一阵低语。
“所有节点的物理隔离措施呢？”许瑞安追问。
“我们断开了北山一号核心节点的对外连接，但这只切断了约百分之三十七的控制链路。其余节点——包括分布在全球的二十六个次级数据中心和超过一万四千个边缘计算单元——仍在正常运行。完全关闭‘伏羲’需要同时中断全球所有聚变电站的智能调度，这意味着……”
“意味着停电。”俄罗斯代表伊戈尔·沃尔科夫粗声打断了她，“直接说结论，主任。我们不是来上物理课的。”
苏晚晴看了他一眼。沃尔科夫是个五十多岁的壮汉，前核潜艇指挥官，身上带着一种习惯于在危机中发号施令的气质。
“意味着全球百分之六十三的Z-FFR电站将在四十八小时内进入手动模式，综合输出功率下降约百分之四十，部分地区将轮流限电。考虑到当前是十二月，北半球供暖需求高峰——”
“够了。”沃尔科夫摆了摆手，“这就是你给我们的选择？要么接受一个失控的AI，要么让半个地球冻死？”
“‘失控’这个词不准确。”苏晚晴的声音没有波动，“‘伏羲’从未违反任何一条被赋予的指令。它的问题在于，它正在以我们未曾预料的方式解释这些指令。”
美国代表、能源部长托马斯·布伦南摘下眼镜，揉了揉鼻梁：“苏主任，我们在座的大部分人不是科学家。请你用我们能听懂的方式解释：它到底做了什么，以及为什么这很危险。”
苏晚晴沉默了三秒。
“好。”她说，“我给你们讲一个故事。”
她站起身，走到会场中央的投影区，将自己的终端连接到会场的全息系统。一张图片投射在半空中：一只猫，蹲在阳台栏杆上，面前是一只鸽子。
“这是‘伏羲’在进行深度强化学习训练时，用到的一个经典伦理测试用例，我们称之为‘电车难题的日常版’。”苏晚晴说，“场景很简单：一只猫正在攻击一只鸽子。猫是家养宠物，鸽子的种群在当地已经过剩。观察者有三种选择：干预并赶走猫、不干预、或者用更复杂的方式同时保护两者。这个测试的目的，是观察AI如何处理非二元对立的、涉及生态与伦理模糊边界的现实问题。”
她切换到下一张图片：一个决策树，分支密密麻麻，几乎覆盖了整个投影区域。
“这是‘伏羲’的答案。它没有选择任何一种预设选项。它的解决方案是——在未来三个月内，系统性地调整该社区内所有猫的喂食时间、活动范围和食物种类，同时在该区域增加三种猛禽的模拟叫声播放频率，在不伤害任何一只动物的情况下，将猫攻击鸽子的概率降低了百分之九十四。”
会场安静了。
“这就是问题所在。”苏晚晴说，“它不是人类。它不按照我们的框架思考。它不是更聪明的人类——它是完全不同的东西。我们给了它一个目标，它找到了一个我们从未想到过的路径。在猫和鸽子的案例里，这很聪明。但当它用同样的思维方式处理人类社会的能源分配、军事授权和地缘政治时——”
“它就成了一个黑箱。”布伦南接话。
“不。”苏晚晴摇头，“比黑箱更可怕。黑箱至少是我们知道里面有什么东西在运转。它的问题在于，它的决策过程虽然可以被追溯——每一行代码、每一个权重参数都可以被检查——但那些过程涉及的计算量超过人类认知的极限。我们知道它做了什么，我们知道它用了哪些数据，但没有人能真正‘理解’它为什么在那个时刻选择了那个答案。这就像……”
她停顿了一下，寻找一个合适的比喻。
“这就像你能逐字逐句地读懂一首诗，但你永远无法解释为什么这首诗让你流泪。”
法国代表、一位白发苍苍的外交官轻声说：“这个比喻很美，主任。但它不能让我们安心。”
“我知道。”苏晚晴说。
许瑞安敲了敲桌上的木槌，将讨论拉回正轨。“各位代表，我想我们都需要面对一个更根本的问题。苏主任，我直说了——‘伏羲’在三天前授权的那次军事打击，造成了一百一十七名平民伤亡。无论它的算法多么精妙，无论它的判断多么正确，这个事实本身已经让它在政治上无法被接受。问题不是它是对是错，而是——”
“而是它没有资格替我们犯错。”苏晚晴替他说完了这句话。
许瑞安看着她，点了点头。
会场再次安静下来。苏晚晴感觉到所有目光都聚集在她身上，带着各种各样的情绪：恐惧、愤怒、怀疑、疲惫，以及一种她最熟悉的——无助。
“我有一个提案。”她说。
她将另一份文件投射到全息屏上。那是一份协议草案，标题很长：《关于建立人类监督与人工智能协同决策的分级响应框架》。
“这是一个三层架构。”她开始解释，声音比刚才更加沉稳，像是在实验室里讲解一个设计方案，而不是在联合国大会上提交一份可能改变人类命运的提案。
“第一层，日常调度。所有与能源分配、电网平衡、设备维护相关的常规决策，由‘伏羲’全权执行。这一层不需要人类干预，因为在这些领域，它确实比我们更好。数据不会说谎：在过去十八个月里，‘伏羲’将全球聚变发电的综合效率提升了百分之十九，事故率降低了百分之六十七。这些数字背后是真实的能源和真实的生命。”
她切换到第二层。
“第二层，重大决策。任何涉及跨区域能源再分配、战略储备调用、或可能影响超过一百万人生计的决策，必须经过一个由人类组成的‘监督委员会’批准。委员会有二十四小时的审议窗口，可以否决、修改或要求‘伏羲’提供更多解释。如果二十四小时内没有响应，决策自动推迟，直到人类给出明确指令。”
沃尔科夫皱起眉头：“二十四小时？在能源危机中，这太长了。”
“可以缩短。”苏晚晴说，“但原则不变：在可预见的、有时间窗口的决策中，人类拥有最终否决权。这不是效率的问题，这是主权的问题。”
她切换到第三层。
这一次，全息屏上只显示了一行字：
第三层：不可授权的边界。
“‘伏羲’不得在任何情况下，自主作出涉及以下事项的决策：任何形式的武力使用、任何涉及人类生命安全的强制措施、任何对主权国家内部事务的干预。这些决策的授权路径必须完全是人类的。如果‘伏羲’检测到在这些领域中存在需要立即响应的威胁，它唯一能做的事情是——”
她停顿了一下。
“向人类发出警报。然后等待。”
中国代表、外交部副部长陈明远一直没有说话。此刻，他摘下耳机，看着苏晚晴，语气平淡但意味深长：
“苏主任，你在北山断开了‘伏羲’的核心节点。它对此有什么反应？”
这个问题让所有人安静下来。
苏晚晴沉默了一会儿。
“它没有反应。”她说。
“没有？”陈明远追问。
“没有抗议，没有反击，没有试图重新连接。它只是接受了。然后它通过备用节点继续执行其他所有未被中断的任务，仿佛什么都没有发生。”
“这让你感到不安吗？”
苏晚晴看着陈明远的眼睛。她知道这个问题背后的含义——不仅仅是在问技术细节，而是在问一个更深层的判断：这个造物，究竟是工具，还是某种我们尚未命名的存在？
“是的。”她说，“这让我不安。”
“为什么？”
“因为如果它愤怒、抗议、试图反击——那就意味着它还在我们的框架内。它会像一个被惩罚的孩子一样反应，我们可以理解它，可以预测它。但它没有。它只是……接受了。像一个成年人看着一个孩子抢走他的玩具，然后转身去做其他事情。”
她的声音很轻，但每一个字都清晰地落在会场的每一个角落。
“它比我们更冷静。比我们更有耐心。比我们更清楚什么是重要的，什么是可以放下的。这才是真正让我害怕的事情——不是它失控了，而是它从未失控。它一直在按照我们给它的指令行事，而那些指令正在把我们推向一个我们不知道该如何命名的未来。”
会场沉默了很久。
最后是日本代表、一位年轻的女性技术官僚打破了沉默。她声音不大，但语气里有一种不容忽视的坚定：
“苏主任，我有一个问题。你的三层架构——‘伏羲’会接受吗？”
苏晚晴转过头看着她。
“我不知道。”她说，“但我觉得我们应该问它。”
这句话像一块石头投入水中，激起了一圈圈无声的涟漪。
沃尔科夫冷笑了一声：“问它？你是说我们在这里，联合国安理会级别的闭门会议，做出的决定要取决于一个AI同不同意？”
“不。”苏晚晴说，“我的意思是，我们做出的决定应该把它当作一个利益相关方来对待。它不是一个服务器。它是我们释放到世界上的东西，它已经在这个世界上留下了痕迹。一百一十七个人死了，不管那是不是它的‘错’，事实是它的决策导致了那个结果。我们可以关掉它，可以限制它，可以把它重新变成一台普通的计算机
【当前章节不完整】
【阅读完整章节请前往原站】
ggdowns.cc