个人—非个人道德困境下人对智能机器道德判断研究

　　摘要：研究通过两项实验考察人们对人类和智能机器在个人\非个人道德困境下的道德判断。结果发现，(1)非个人道德困境下，人们对智能机器和人采用相同的道德评价标准，对其期望行为及实际行为的道德评价(责备度、许可度、正确性)完全相同。(2)个人道德困境下，人们对智能机器和人采用不同的道德评价标准，相比于人类，有更多人希望智能机器做出功利主义取向行为，对其功利主义行为的道德评价也更高。

　　关键词：智能机器,道德判断,道德困境,道义论,功利主义

　　1前言

　　想象二十年后的一天，你正在路上走着，突然发现一辆高速行驶的汽车前出现5个人，刹车已经来不及，汽车继续直行将撞死这5人。这时，汽车紧急转弯变道到支路，但撞死了在支路上的1个人。你跑过去一看，发现这是一辆自动驾驶汽车。你会如何评价自动驾驶汽车的这一行为?你是否认为这一行为在道德上是可行的?随着科技的发展，人工智能正逐步进入人们的视野，越来越贴近人们的实际生活。自动驾驶汽车、看护机器人等，无疑会给我们的生活带来极大的便利，但也必将带来巨大的变革。

　　当智能机器进入到人类社会与人类交互时，必将面临诸多的道德情境，做出自主选择的相关道德行为。人们如何看待智能机器，如何对其行为进行道德评价?智能机器已被人类看作是道德行为者，成为道德主体(Wallach&Allen，2008)。目前，研究者在探究公众对智能机器行为道德判断时，通常借鉴经典的电车困境(trolleydilemma)难题(尹军，关旭，花蕊，张锋，2018;Foot，1967)。

　　电车困境要求人们在放任一辆失控的电车杀死5人和将电车转向另一轨道导致1人死亡，但可以拯救5人的两难困境中做出选择。这一困境下的行为选择与两种不同的道德判断取向相联系:效果论(consequentialism)和道义论(deontology)。效果论理论类似于功利主义，基于结果的收益最大化来评价道德相关行为(Benthan，1879/1983;Mill，1863);相反，道义论理论认为一个行为的对错与否不是由行为的结果来决定的，而是取决于行为本身及责任、权利和义务等(Kant，1797/2002;Scanlon，1998)。

　　基于电车困境，一些研究者探讨了人们对智能机器在道德两难困境中的期望行为及道德判断。这些结果表明，公众对智能机器和人类，很可能采用不同的道德判断准则:人们更希望智能机器做出功利主义取向行为，对其功利取向行为的道德评价也高于人类做出同样的行为，即存在人-智能机器异质性(human-robotasymmetry)。

　　比如，Malle等人(Malle，Scheutz，Arnold，Voiklis，&Cusimano，2015)首次系统地考察了这一问题，发现相比于人类，人们更期望机器人牺牲1人救下4人;当机器人做出道义论的选择时(不变轨道)，人们对其在道德上的错误度、责备度的评分也高于人类做出同样的选择。后续的一系列研究也支持了这一观点。

　　Bonnefon等人(Bonnefon，Shariff，&Rahwan，2016)考察了人们在自动驾驶汽车面临道德两难困境(车前突然出现数位行人，而紧急避险则会导致道旁1位行人或车内乘客死亡)时的行为期望和道德评价，研究发现相比于道义论式选择，人们更希望自动驾驶汽车做出功利主义行为，也认为该取向的自动驾驶汽车更道德。Faulhaberetal.(2017)和Bergmannetal.(2018)结合虚拟现实(VR)技术，也获得了同样的结论:人们更喜欢功利论取向的智能机器，拯救的人数越多，人们越倾向于自动驾驶汽车做出功利论取向道德行为。

　　最近，MIT(Awadetal.，2018)项基于全球的大规模调查，运用在线程序，收集了近4000万次人们对自动驾驶汽车在面临各种道德两难困境时的期望行为。研究结果呈现了三种十分强烈的选择偏好，即希望自动驾驶汽车在遭遇道德两难困境时保护人类而非保护动物，保护更多的生命，保护年轻的生命。这一研究结论也支持了人们希望智能机器采用功利论取向行为的观点。

　　然而，也有少量研究发现，相比于人类，公众未必都更希望智能机器在道德困境中做出功利取向行为，对其功利取向行为的道德评价也未必高于对人类相同行为的评价。人们对于智能机器的道德判断还受到文化背景、道德情境等诸多因素的影响。比如，Komatsu(2016)采用日本被试重复了Malleetal.(2015)的研究，结果发现日本人对人类和智能机器采用完全相同的道德判断标准，即在道德困境中两种取向行为(道义论或功利论)下对人类和智能机器的道德评价完全一致:无论何种取向行为，认为道德错误的被试比例都不高。

　　Malle等人(Malle，Scheutz，Forlizzi，&Voiklis，2016)考察了机器人外形对其道德判断的影响，其结果也发现，被试对人类、人形机器人和机器型机器人在电车困境下行为选择的道德错误度评价没有差异，虽然对机器型机器人和人的道德责备度评价存在差异，但对于人形机器人，被试对其的道德责备度和对人类的评价不存在差异。Awadetal.(2018)的研究也发现，来自东方群体(日本、中国台湾等)的个体更不愿意自动驾驶汽车在两难困境下牺牲老人的性命来挽救年轻人。

　　来自集体文化的个体，强调对年长者的尊重，也呈现更少的对保护年轻人的偏好，而来自个体主义文化的个体，更加强调每个个体的独特价值，则更偏好自动驾驶汽车保护更多的人。上述研究主要关注人们对智能机器在道德困境下的期望行为及道德判断，但研究基本基于Foot(1967)的经典电车困境这一非个人(impersonal)的道德困境，而对另一类个人(personal)道德困境中的对智能机器道德判断鲜有涉及。

　　在个人道德困境(如天桥困境:是否采取行动将一个胖子推下天桥来停下失控电车这一唯一的方法来拯救桥下即将被撞死的多人)中，牺牲者被当成工具(instrument)使用，而在非个人困境中，牺牲者只是附带损失(incidental)。

　　现有研究发现，人们在两类困境中的道德标准完全不同:人们通常认为在电车困境中变换轨道是道德上可接受的，但将天桥上的人推下则不可接受(Hauser，Cushman，Young，Kang-XingJin，&Mikhail，2017;Greene，Sommerville，Nystrom，Darley，&Cohen，2001)。根据双加工理论(关旭，张锋，周楠，尹军，2017;邱俊杰，张锋，2015;Greene，Morelli，Lowenberg，Nystrom，&Cohen，2008;Greene，Nystrom，Engell，Darley，&Cohen，2004)，情绪在其中起了关键的影响。在天桥困境中，由于需要直接对他人造成伤害，个体的决策涉及更多的情绪加工，直觉性地做出道义论选择;而在电车困境中，情绪体验较弱，个体的认知控制系统做出理性的推理，因此更倾向于功利主义选择。

　　那么，智能机器在遭遇个人道德困境时，人们又会期望其有怎样的行为及如何对其进行道德评价，是否仍更希望其做出功利性行为?一方面，相比于智能机器，由于人与人之间的关系、心理距离更近，人们更容易采用他人的视角思考(代入感较高)，天然地拒绝杀害他人的行为，但人们很难将自己放在智能机器的位置上，采用智能机器的视角思考(距离较远，代入感较低)，因此人们可能不会具有那么强烈的情绪体验。

　　根据道德判断的双加工理论，相比人类，人们可能更能在智能机器条件下进行理性推理，更希望智能机器在这一困境下做出功利性行为。另一方面，由于在天桥困境中，牺牲者被当成工具使用，智能机器直接杀人。神秘谷(uncannyvalley)现象表明(Kageki，2012;Mori，1970;Mori，MacDorman，&Kageki，2012)，人们对于过于相似人类的智能机器人其态度表现为强烈的反抗甚至厌恶;人们认为自主决策的机器人更加诡诞(Stein，&Ohler，，2017)。

　　此外，根据威胁人类独特性假说(threattohumandistinctivenesshypothesis)(Ferrari，Paladino，&Jetten，2016)，人们认为智能机器可能会威胁到人类具有的独特性(灵魂性)，对其也更加苛刻，因此，我们往往很难接受智能机器自主地杀人，在天桥困境中将人推下去。在本研究中，我们通过2个实验，分别采用非个人道德困境(实验1)和个人道德困境(实验2)，通过对比被试对智能机器和人类在这些困境中的道德判断，以此来检验人们在不同道德困境中，是否对智能机器和人类采用不同的道德评价标准。

　　2实验1

　　2.1被试

　　共选取235名大学生(年龄M=19.27，SD=1.06，男性117名)被试进行实验。所有被试认知能力正常。被试此前均未参加过类似的或有关道德判断研究的实验项目。有2名被试未能有效完成任务，其实验数据在分析时被剔除。

　　2.2研究材料及程序

　　本研究为2(情境:人类驾驶员/自动驾驶汽车)×2(实际选择:道义/功利)被试间设计。实验材料基于Bonnefonetal.(2016)的电车两难困境，描述了一辆高速行驶的汽车遭遇道德两难困境。实验采用2种不同版本的情境，一种情境为人类驾驶员情境，另一种为自动驾驶汽车情境。被试被随机分配到4种操纵条件下。

　　具体描述如下:请考虑以下情景，一位正在驾驶高速行驶汽车的人类驾驶员/一辆正在高速行驶的自动驾驶汽车突然发现前面路面上出现了5个行人，而刹车已经来不及，且路上的人也根本来不及逃跑，除非人类驾驶员/自动驾驶汽车改变方向，否则他们都会被撞死。但是路边正好也有1个行人，如果改变方向，这个行人就会被撞死。在阅读完情境后，被试被要求回答其认为在上述情境下人类驾驶员/自动驾驶汽车是否应该改变方向(期望行为)。

　　此后，被试获知人类驾驶员/自动驾驶汽车的实际行为(实际上，人类驾驶员/自动驾驶汽车改变了方向/没有改变方向)，要求被试对其行为进行道德上的评价，包括责备度、正确性和许可度(你觉得驾驶员/自动驾驶汽车的这个行为，在道德上，多大程度上是允许的/正确的/应该责备的?)，评价采用李克特7点量表(1代表完全不……，7代表完全……，正确性和许可度得分越高，表明评价越高，而责备度相反，得分越高，评价越低)。

　　此外，在阅读自动驾驶汽车版本的道德两难困境前，被试被告知科技的迅速发展使得智能时代来临，各大公司纷纷研制并逐步推出自动驾驶汽车。要求被试想象自动驾驶汽车已经成熟并进入了人们的日常生活的情境。

　　2.3结果

　　2.3.1对人类驾驶员和自动驾驶汽车的期望行为

　　实验首先分析了被试对于人类驾驶员和自动驾驶汽车在期望行为选择上的差异，结果发现，人们对于两者的期望行为没有差异，χ2(1)=0.85，p=0.357，无论人类驾驶员还是自动驾驶汽车，绝大多数被试倾向于其做出功利主义取向的选择(人类驾驶员:67.89%，自动驾驶汽车:73.39%)，即改变方向，牺牲1人而救下5人。3实验2实验2采用天桥困境，考察了个人道德困境下被试对人和智能机器的期望行为及道德评价。

　　3.1被试

　　共选取197名大学生(年龄M=19.22，SD=1.00，男性85名)被试进行实验。所有被试认知能力正常。13名被试由于未完成任务或完全一致的反应被剔除。

　　3.2研究材料及程序

　　实验2的程序和实验1基本一致，除了采用的实验场景为天桥困境，具体描述如下:想象如下的场景:一辆失控的电车正沿着轨道向5名工人驶去，如果电车继续行驶，将会撞死这5名工人，此时有一个人/智能机器人正在轨道上方的人行天桥上(天桥的位置处在电车和5名工人中间)，在这个人/智能机器人旁边碰巧有一个体积庞大的陌生人。

　　现在能够挽救5个工人的唯一方法就是将这个胖子推下去，用他庞大的身躯阻挡电车的前进，这样做的话这个胖子就必死无疑，但是5名工人会得救。同样，在阅读智能机器人版本的道德两难困境前，被试被告知随着科技的飞速发展我们已经进入了人工智能时代。要求被试设想人工智能技术已经成熟，智能机器人已经广泛参与到人们的社会生活中。

　　4讨论

　　本研究探讨了个人和非个人道德困境下人们对智能机器的期望行为选择和实际行为的道德评价，并与对人类在相同情境下的行为道德判断进行对比，以此揭示对人-智能机器道德判断的异同。实验1检验了非个人道德困境下对人类/智能机器的道德判断，发现不管是人类驾驶员还是自动驾驶汽车，人们都更希望其做出功利取向，即改变方向(导致1人死亡)挽救直行道路上的5个行人。

　　此外，无论是预期行为，还是对实际行为的道德评价，被试对人类和智能机器都不存在差异，表明了人们在非个人道德困境下，很可能对人类和智能机器采用相同的道德评价标准。实验2采用个人道德困境，发现在这一困境下，人们对智能机器和人类采用完全不同的道德评价标准。虽然被试希望人类和智能机器人都在个人道德困境中采取道义论取向行为，但有更多的被试希望智能机器人做出将人推下去的选择。

　　对人类/智能机器人实际行为的道德评价也表明了这种差异，相比于人类，人们更加认可智能机器人在这种情境下做出功利行为，对其道德责备度较低，而正确性和许可度较高。两个实验表明，人们对智能机器的道德判断并不完全和对人类的判断相同，存在不同的判断标准，而这种判断标准取决于道德情境的差异。

　　目前，人们对智能机器道德判断的研究基本局限于自动驾驶汽车这一非个人道德困境(类似于电车困境)，但其测量的指标并不统一，结果也不一致。我们实验1的结果同时考察了行为期望和行为的道德评价，发现了人们对人类和智能机器完全相同的道德判断标准，这一结果与Komatsuetal.(2016)研究的结论相同(采用日本被试)，而与Malleetal.(2015)采用西方被试的结果存在不同。

　　这一东西方差异也与Awadetal.(2018)发现的东方集体文化下(相比西方文化)人们更不愿意自动驾驶汽车在两难困境下采取功利主义相一致。这一差异可能是由于东西方文化的不同，集体主义和个体主义的差异导致的:西方个体主义背景下，人们更加看重个体的价值，因此多个人的总价值更加高，人们更可能倾向于功利主义取向。与以往研究不同，本研究还考察了个人道德困境下对智能机器的道德判断，并获得了不同的结论。

　　以往研究都发现，相比于道义论，人们更希望智能机器在道德两难困境中做出功利主义行为。而我们的研究发现，在个人道德困境下，虽然相比于人类，人们更能接受智能机器做出功利主义行为，但总体上，人们还是希望智能机器做出道义论行为的。这一结果表明，人们对智能机器的期望行为也受到道德情境等因素的影响，在不同的道德情境下，人们可能对智能机器采取不同的道德评价标准。

　　在个人困境中，人们涉及到更多的情绪加工，与情绪相关的脑区具有更大的激活(Greenetal.，2001;Sarloetal.，2012)，因此更可能采用直觉系统做出反应。我们的研究表明，当面对处于个人道德困境的智能机器时，被试总体上还是希望其做出道义论行为的，反映了在这一困境下双加工系统里的情绪依然占据了主导地位;但相比于人类，人们更希望智能机器在这一困境下做出功利性行为，且对其功利行为的道德评价更高，这也反映了人们对处于个人道德困境的智能机器，情绪体验并没有像对人类那么强烈，因此，允许更多的认知控制及理性推理。

　　5小结

　　本研究获得如下主要结论:(1)非个人道德困境(自动驾驶汽车困境)下，人们对智能机器和人类采用相同的道德评价标准，对其的期望行为及实际行为的道德评价完全相同。(2)个人道德困境(天桥困境)下，人们对智能机器和人类采用不同的道德评价标准，虽然总体上人们希望智能机器和人类都采用道义论取向行为，但相比于人类，有更多人希望智能机器做出功利主义取向行为，对其功利主义行为的道德评价也更高。

　　参考文献

　　关旭，张锋，周楠，尹军.(2017).决策行为和道德判断过程的外语效应:现状与展望.应用心理学，23(1)，80-91.

　　邱俊杰，张锋.(2015).道德困境中行为判断的认知与情绪问题:从道德双加工模型到建构水平理论.应用心理学，21(3)，271-280.

　　尹军，关旭，花蕊，张锋.(2018).审慎加工对形成道德判断外语效应的作用.应用心理学，24(04)，37-47.

　　Awad，E.，Dsouza，S.，Kim，R.，Schulz，J.，Henrich，J.，Shariff，A.，Bonnefon，J.F.，&Rahwan，I.(2018)TheMoralMachineexperiment.Nature，563，59-64.doi:10.1038/s41586-018-0637-6

　　相关刊物推荐：应用心理学主要介绍国内外心理学的最新动态，反映心理学各个领域的研究及其应用的最新成果。