第3章　当机器人太过完美时

那是2009年一个夏夜，法航447航班准备从巴西飞往巴黎，机上载有228名乘客1。乘客们登机坐好后等待起飞。飞机起飞后，飞行员宣布他们已经达到了平稳的巡航高度，有些乘客拿出了书和笔记本电脑，或者把座位向后倾斜，打算睡一会儿。他们没有意识到的是，飞行员也在放松。现在自动驾驶仪已经启用了，飞行员不再需要手动驾驶。机长认为这是他休息的最佳时间。他向两名副机长通报了情况，然后回到机舱里。

几分钟后，飞机的传感器之一——空速管上形成了冰晶。空速管通过测量压力的变化来确定空速，而结冰会阻塞气流，使空速测量失效。由于这个传感器的故障，自动驾驶仪自动退出，飞机进入了一种新的飞行控制模式，称为2b替代法则。空客飞行计算机可以以三种不同的模式或法则操纵飞机。正常法则是当所有的传感器和系统都运转正常时，为了防止任何可能导致飞机变得不稳定的大小变动，控制系统保持飞机在其指定的飞行参数内。当数据由于传感器故障或其他故障而丢失时，飞行计算机进入替代或直接法则。当一些保护措施仍在发挥作用时，就会使用替代法则。直接法则是指在没有任何保护的情况下，飞行员的输入直接转化为飞行操纵面的运动。2b替代法则，也就是那天从巴西起飞的447航班所采用的法则，是所有替代法则中最差的一条，它只有在出现严重问题且飞行员不得不在没有自动系统协助的情况下采取行动时才会投入使用。在所有替代法则模式中，该模式对故障（包括失速）的保护措施最少。

但进入那个模式并不是问题所在，问题是飞行员重新控制了飞机却没有意识到这一点。发生模式更改时，显示器上水平仪旁边的小绿线变为琥珀色十字，表示已切换到替代法则，但飞行员没有注意到这种细微的变化。当飞机开始出现明显的故障时，他们才注意到有些事情发生了变化，而在最紧急的时刻，飞行员只顾着惊讶和困惑。他们对受损传感器的问题缺乏全面的了解，也无法对飞机行为的漏洞进行弥补。他们试图接管控制权，但并不知道自动飞行控制系统是如何运作的。

过了几分钟，一位副机长把机长叫回机舱里。飞机遇险，引擎全速运转，但机身开始向右偏转并迅速下降。当时控制飞机的副机长向后拉操纵杆，试图让飞机爬升，但他没有意识到自己使飞机爬升得太快：飞机爬得太陡了，机翼上方的空气已经无法正常流动。当飞机快速下降时，另一位副机长说：“爬升……爬……爬……爬升！”控制飞机的那个人回答说：“但是我已经把机头上扬到最高了！”就在这时，机长意识到发生了什么事，喊道：“不，不，不，不要再爬了！”飞行员所要做的就是俯冲以恢复空速，这样机翼就会再次发挥作用。但是已经太迟了——飞机飞得太低，无法从失速中恢复。当探测到地面时，警报开始响起，飞行员说：“我们要坠毁了！这不可能是真的。但是发生了什么？”他真的很困惑。飞机坠入大海，机上所有人都遇难了。

数十年航空航天应用领域的人机协作研究表明，自动化程度的提高会削弱操作员识别和纠正错误的能力。事实上，自动化程度的提高导致了许多飞机失事2。研究一致表明，当系统发生故障时（不管自动化系统有多先进，它最终总会以某种方式发生故障），相关人员的处境比从未使用过自动化的人更糟糕。当人类和自动化系统必须合作时，问题就会恶化，特别是当新系统被引入时3。