关于人工智能治理问题的若干思考

【摘要】人工智能是引领未来的战略性技术，主要发达国家都将其作为提升国家竞争力、维护国家安全、占据前沿科技主导权的重大战略。中国推动人工智能发展战略，是中国作为全球性大国提升综合实力和顺应国际形势发展的产物。然而，人工智能又是一种颠覆性的技术，我们要对人工智能的负面影响和冲击充分预估，构筑人工智能多层次治理体系。人工智能治理既是其技术和运用发展到一定阶段的必然结果，又是对其研究、开发、生产和运用过程中可能会出现的公共安全、道德伦理等问题进行协调、处理、监管和规范的过程。中国作为人工智能大国，应抓住未来发展机遇，积极参与国际人工智能规则和标准设计，为人工智能全球治理贡献中国智慧，以“善治”谋求人工智能的“善智”而造福于人类。

【关键词】人工智能 道德伦理 规则标准 全球治理

【中图分类号】TP18 【文献标识码】A

【DOI】10.16619/j.cnki.rmltxsqy.2017.20.006

前言

人工智能是人類科技文明发展到一定阶段的产物，是研究、开发用于模拟、延伸和扩展人类智能的技术科学。作为一种快速发展的并具有划时代意义的高科技，其广泛应用必将对现代人类社会发展产生全面而又深刻的影响。人工智能将极大地促进全要素生产率提升，据埃森哲发布的报告预测，2035年人工智能预期可以为12个发达经济体带来两倍的经济增长速度，中国的经济增长率将从6.3%提速至7.9%。①军事上，人工智能和机器人有可能大规模投入未来战场，或将改变战争模式乃至国际军事格局。人工智能在极大地解放生产力的同时，也将深刻地改变人类的生产方式、工作方式和生活方式。然而，作为一种颠覆性的技术，我们要对人工智能的负面影响和冲击充分预估，理性思考人工智能的安全治理问题。实际上，一些科学家、有识之士以及社会各界也开始认识到这一问题的重要性。一般来说，安全性评估和审慎监管原则适合于任何一项科学技术革命，但由于人类利益动机、预估不足、外部性和道德风险等问题的存在，往往导致治理滞后、治理赤字和治理失灵等现象，如工业革命以来走过的“先污染，后治理”的教训以及温室气体排放与气候谈判的曲折等，都是这一问题的表现。人工智能由于其技术复杂性、扩展性、不可控性和不可预知性，可能更需要做好风险预估和防范，引导其健康、有序、安全发展，以规范人工智能研发、生产和消费秩序，通过对人工智能的“善治”谋求人工智能造福于人类的“善智”。②

人工智能引发的治理问题

人类社会需要面对人工智能正在发生的问题，也需要预估、评判和预防未来人工智能发展可能引发的问题。应该说，从问题的严重性来讲，人们最担心的是未来人工智能对人类生存的挑战。从科学家霍金的“人类最后的文明”到人工智能预测家库兹韦尔全面超越人类智慧的“奇点”论，都表现为对人工智能未来的“超人类性”、“另人类性”以及“非可控性”的担忧。在霍金看来，人工智能的广泛使用具有极高的风险性，一方面人工智能带来的收益是巨大的，人类或许可以借助这一强大的工具，减少工业化对自然的伤害。但是“我们不确定我们是会被智能无限地帮助，还是被无限地边缘化，甚至毁灭”，人工智能的崛起可能是人类文明的终结。因此，人类必须建立有效机制尽早识别威胁所在，防止人工智能对人类带来的威胁进一步上升。③

库兹韦尔认为，人工智能可以全面超越人类智能，而且超越的速度远超过人们的预期。他认为，2045年是“奇点”到达的时期，这将是极具深刻性和分裂性的时间点，非生物智能在这一年将会10亿倍于今天所有人类的智慧。④当然，大多数科学家和人工智能专家对人工智能全面超越人类持否定态度，认为这是杞人忧天式的臆想，对人工智能征服人类的担心就像担心火星上塞车一样。航天器发明之前，其可能坠毁的风险担忧并没有阻止航空航天事业的发展。从这一点说，我们几乎没有可能阻止人工智能的快速发展，但从现在起，给予人工智能更多的人文关注、价值判断和理性思考，是一种比较正确的态度。事实上，人文社会科学的发展应该走在自然科学的前面，在人工智能安全问题之前做好充分的理论准备。

第二类问题是人工智能可能引发的安全问题。其一是操作权失控或恶意使用导致的安全威胁。人工智能对人类的利害作用取决于掌控和使用人工智能的人。例如，黑客可能通过智能方法发起网络攻击，还可利用人工智能技术非法窃取私人信息。其二是技术失控或管理不当所致的安全问题。某些技术缺陷也会导致人工智能系统出现安全隐患，比如深度学习采用的黑箱模式会使模型可解释性不强，机器人、无人智能系统的设计、生产不当会导致运行异常等。

第三类是人工智能伦理规范的挑战。伦理问题是人工智能技术应用值得关注的问题。如人工智能的行为规则问题，人工智能技术的应用正在将一些生活中的伦理性问题在系统中规则化。系统的研发设计必须要与社会伦理匹配对接，机器规范和人类规范必须兼容，从而导致社会损害。再如机器人的“人格”和权力问题。目前在司法、医疗、指挥等领域正在发挥作用，不远的将来，人工智能在审判分析、疾病诊断上将替代人类。但是，在给机器授予决策权后，人们不仅要考虑人工智能的安全风险，而且还要面临一个新的伦理问题，即机器独立行使专业决策的资格。有伦理学家认为，未来机器人不仅有感知、认知和决策能力，人工智能在不同环境中学习和演化，还会形成不同的个性。所以机器人使用者需要承担类似监护人一样的道德责任甚至法律责任，以免对社会文明产生不良影响。⑤

第四类问题是人工智能可能引发的隐私问题。大数据驱动模式主导了近年来人工智能的发展，隐私问题是数据资源开发利用中的主要威胁之一，人工智能应用中必然存在隐私侵犯风险。比如数据采集中的隐私侵犯。随着各类数据采集设施的广泛使用，智能系统掌握了个人的大量信息，如果出于商业目的非法使用某些私人信息，就会造成隐私侵犯。再如云计算中的隐私风险。因为云计算技术使用便捷、成本低廉，许多用户开始将数据存储至云端。将隐私信息存储至云端后，这些信息就容易遭到各种威胁和攻击。目前在许多人工智能应用中，云计算已经被配置为主要架构，因此云端隐私保护是需要考虑的问题。还有知识抽取中的隐私问题。由数据到知识的抽取是人工智能的重要能力，知识抽取工具正在变得越来越强大，无数个看似不相关的数据片段可能被整合在一起，识别出个人行为特征甚至性格特征。但是，这些个性化定制过程又伴随着对个人隐私的发现和曝光，如何规范隐私保护是需要与技术应用同步考虑的一个问题。⑥

人工智能治理难题

尽管对人工智能风险认识和评价有相当大的分歧和争议，但学界、业界以及政界对人工智能治理的必要性已形成基本共识。不仅霍金、马斯克等人发起倡议的《人工智能23条原则》，强调人工智能的规范发展必须纳入正确轨道，而且各国政府和行业协会在其人工智能发展战略规划或行业报告中，都有比较明确的人工智能监管和治理要求，如2016年9月，英国标准协会发布《机器人和机器系统的伦理设计和应用指南》，是业界第一个关于机器人伦理设计的公开标准，旨在指导机器人设计研究者和制造商如何对一个机器人做出道德风险评估，以保证人类生产出来的智能机器人能够融入人类社会现有的道德规范。⑦2016年6月，日本AI学会的伦理委员会发布人工智能研究人员应该遵守的伦理指标草案，以引导和规范研究人员正确处理人工智能进一步发展导致的伦理道德、安全问题。⑧美国的《国家人工智能研究和发展战略计划》全面搭建了美国推动人工智能研发的实施框架，并強调保障人工智能系统的友好性，推动人工智能系统的公平、透明与符合伦理。同时，确保人工智能系统的安全可靠，提高信任度、可验证和可确认性，并实现自我安全防御与优化。⑨

问题的关键不是人工智能需不需要治理的问题，而是人工智能究竟应该如何治理、治理什么的问题，人工智能本身的复杂性特征使得人工智能在治理机制设计和构建中遭遇多重难题。

首先是事前的风险识别和预防难题。不同于原子能、化工等研究开发的基础设施的大规模性、风险源的明确性，监管者或治理行为体能够非常容易地确定潜在的公共危险源的制造者和发生地。人工智能研发具有秘密性、分散性、不连续性及不透明性。秘密性是指人工智能的研究与开发只需要极少的可见设施；分散性是指研究人工智能系统不同组成部分的研发人员可能分布在不同的地方；不连续性是指人工智能的研发不需要所有的部件同时就位，也不需要不同部门的研究人员通力合作；不透明性，是指人工智能系统运行可能处在秘密状态，由于信息的严重不对称，外部人员很难发现人工智能系统中潜在的危险而无法采取针对性的监管措施。⑩人工智能这些特征，为其事前监管带来许多不便，也为有效的人工智能治理设计带来困惑，毕竟科学的风险识别和预防机制的构建是治理有效性的关键。

其次是风险发生的不可预知性难题。人工智能与其他传统科技最大的不同是可以独立完成预定任务的自主性，但是人工智能自主行为与人类的决策和行动存在根本的不同，尽管人工智能系统设计总是模仿人脑的工作方式。人类智能由于其在限定的时间里的计算速度有限，很难在穷举中得出最优解，而往往通过经验、直觉等方法得出自认为满意的答案，而非一个最佳的解决方法，经济学家Herbert Simon称之为“满意法”。⑪而人工智能通过合并算法和深度学习可以在极短的时间内精确计算所有的可能性，从而使得它们能够选择人类完全没有考虑过而“出人意料”的解决问题方法，做出的结论可能同人类的认知系统做出的决策产生极大的不同。一个能够自主学习的人工智能系统的行为部分依靠其后天的经历，即使是最细心的设计者、编程者以及制造者都没有办法控制或者预测人工智能系统在脱离他们之后将会经历些什么。⑫所以，人工智能的不可预知性，使得人工智能系统在做出难以预测的损害性行为时，让设计者承担责任可能会导致不公平和非正义。值得注意的是，对于产品生产者的严格责任，规定有“当前科学水平尚不能发现缺陷”的免责事由。但是这项免责事由在人工智能领域是否适用值得讨论。尽管在深度学习训练数据和学习过程存在不可预见性，但考虑到人工智能的算法完全由开发者编写，开发者对风险源头具有绝对的控制力，司法机关可能会推定开发者应当预见算法执行中的可能风险或要求开发者对风险程度的增加承担责任。

再次是事后责任认定和分配的难题。以规则为基础的治理是现代治理的根本特征，法律法规作为正式规则主体形式使得“法治”构成有效社会治理的核心，人工智能的治理难题集中表现为法律困惑和政策困境。一是人工智能的不可控性导致的监管两难。随着人工智能技术升级到强人工智能阶段，不可控性可能成为一个严峻的问题，未雨绸缪人工智能的局部失控乃至可能出现的全面失控是当代人的责任。从现在来讲，各国不会像用法律禁止克隆人一样规避人工智能风险，人们所焦虑的是如何在不束缚人工智能良性发展的前提下最大限度地防控人工智能风险。二是人工智能风险主体的多元性和不可预知性问题也导致了对其监管的法律困惑，由于参与人工智能系统部件的主体多元和不可预知，很难确定出责任主体。例如，人工智能系统的部件的制造者可能没有想到他们生产的部件被用在了人工智能系统上，如果造成了损害就更非他们的本意了。在这种情况下，将责任分配给人工智能系统某一部件的设计者，就显得非常的不公平，同样，人工智能系统运转的不透明让法院也不能轻易判断将人工智能系统造成第三人损害的责任归责于运营者还是使用者。三是人工智能法律主体的难题。人工智能的自主性随着人工智能技术进步进化到强人工智能阶段后，人工智能载体如机器人是不是人格意义的道德体、行为体乃至法律主体？由于机器可以像人类一样独立思考和决策，该阶段的人工智能如果和人类一样，成为独立的主体享有权利，并对自己的行为承担责任，传统法律体系将产生巨大的冲击。⑬

最后是人工智能对就业岗位的冲击，将引发分配政策的重塑。人工智能在体力特别是脑力替代人类的劳动，在极大改善生产效率的同时，也将对社会就业产生全面的冲击。当前，人工智能正在众多领域发挥作用并具备巨大潜力，如医疗卫生、交通出行、环境监测、司法调查等领域。按照人工智能的发展速度，不远的将来，人工智能将很快渗透到驾驶、新闻记者、翻译、医疗等职业中。另一方面，人工智能也将推动新的就业产生。未来，直接由人工智能驱动的工作将出现，包括人类与现有人工智能技术的合作、开发新的人工智能技术、在实践中监督人工智能技术等。⑭

人工智能所引发的就业问题的解决本身不是人工智能治理问题。随着社会就业结构的改变，社会财富分配差距可能更加分化，收入分配不公将成为严峻的社会问题。这些问题的解决需要政策体系的全面调整，如社会保障体系、教育政策体系的变革，从这方面上讲，人工智能将为社会治理问题带来新的冲击。

人工智能治理体系的构建

从1956年在美国达特茅斯（Dartmouth）大学举办人类历史上第一次人工智能研讨会开始，人工智能几经波折走过了60年的发展历程。近年来，人工智能得益于大数据、互联网、学习算法和计算能力的改进，取得了迅猛发展。一些发达国家和新兴市场国家高度重视人工智能的发展，相继在国家战略层面上对人工智能作出顶层设计。在各国的人工智能发展规划中，都把人工智能的必要性和政府介入人工智能的监管作为其中的重要内容。如在各自出台的人工智能发展战略政策报告中，美国明确提出政府是人工智能发展过程中安全和公平的重要监管人；英国以全球人工智能系统的道德标准研究领域的领导者自居，并为未来引领人工智能监管作准备；欧盟积极呼吁加强机器人相关的立法。与此同时，IEEE也发布了人工智能合伦理设计指南，引起了国际上相关同仁的重视。⑮总体上讲，由于认识、伦理和法律问题存在，人工智能治理机制的建立滞后于其技术发展的步伐，目前还处于起步阶段。但是正如互联网公共治理快速发展一样，人工智能治理体系建设必将快速展开。

人工智能治理是其技术和运用发展到一定阶段的产物，是对人工智能研究、开发、生产和运用过程中可能会出现的公共安全、道德伦理等问题进行协调、处理、监管和规范的过程。人工智能治理同气候治理、互联网治理一样属于专业治理、社会治理和政府治理共同合作的范畴。

人工智能治理的要素由人工智能治理的行为体、治理对象、治理规则、治理目标和理念以及治理绩效构成。与其他社会治理一样，人工智能的行为体是多元的，不仅由研究开发的科学家群体、开发商等自律性的主体组成，也由运营商、消费者等利益攸关者相关主体组成。由于人工智能的安全性、伦理和法律问题的复杂性，特别是人工智能的战略安全等方面的重要性，国家政府是人工智能治理重要的行为主体。作为人工智能治理的平台，一些国家相继成立了人工智能治理的各类组织和机构，如科学家组织、学术团体和协会、高校研发机构，还有国家层面的专业性监管组织。一些传统的国际性组织也开始关注人工智能治理的问题，联合国教科文组织（The United Nations Education， Scientific and Cultural Organization）和世界科学知识与技术伦理委员会（World Commission on the Ethics of Scientific Knowledge and Technology）近年来连续多次联合发布报告，针对人工智能及机器人技术的发展带来的各种问题，提出了全新的思考方式与解决路径，对世界各国的人工智能监管具有重要指导意义。

人工智能治理规则是保障人工智能全过程的正式和非正式的制度和规范，包括人工智能的研发道德规范、产品标准和安全性能要求以及相关法律程序、责任分配等。在以规则为基础的现代治理模式中，规则体系构建是人工智能治理的关键。目前来看，各国人工智能治理规则体系还处于讨论、酝酿阶段，如美国除了自动驾驶和无人机进入了立法程序之外，其他的正式规则还未建构，还不存在针对人工智能的专门的监管法律与机构。事实上，美国的法院也没有针对人工智能造成损害案件的裁判标准。⑯

人工智能治理理念是关于人工智能价值观念的哲学思考。不同于一般科学技术，人工智能的系统的开发与应用直接关乎道德伦理和人的权利、尊严等根本性问题。“规则为基础的治理”需要与“以伦理为基准的设计”高度契合，人工智能系统的工作核心是将价值标准和伦理思考嵌套在智能系统设计之中，这是人工智能治理的核心理念和根本要求。人工智能需建立一套能跨越种族和国家的具有普适性的伦理原则，使之成为各国在发展人工智能技术普遍遵守或共同认可的规范。当然，涉及到伦理相关的治理不只是一套规则，而是一个持续的调和过程，在文化多样性中寻找最大公约数和均衡结果。⑰

人工智能的治理对象是人工智能可能引发的公共问题。包括由人工智能系统可能引发的公共安全、道德伦理和行为规范在内的负外部性问题。由于人工智能的风险源的不可预知性和模糊性，人工智能治理对象的边界不可能十分清晰。这也是其治理难度的表现。

需要说明的是，人类社会正迈进人工智能与互联网、大数据高度融合的时代，人工智能时代是人类进入网络时代、大数据时代的自然结果，只有人工智能才能处理任何强大的自然人与传统组织都无法处理的庞大数据，实现对数据的分析、处理和再现过程。⑱因此，人工智能治理仅从单一的专业治理理解可能会有失偏颇，需要纳入多层次综合治理的轨道。从地域范围来看，人工智能治理是地区治理、国家治理和全球治理，从领域来看，涉及道德伦理、传统安全、非传统安全、就业政策、技术治理等，还包括互联网治理和数据治理中涉及人工智能的领域。

人工智能治理与中国

与国际上人工智能的发展情况相比，中国的人工智能研究和开发是在发达国家人工智能开创20余年后开始起步的。改革开放后，中國人工智能逐步走上了加速发展的轨道。党的十八大以来，中国人工智能发展被提升到国家战略高度，开启了中国人工智能变革与创新的新时代。近年来，国家相继出台了人工智能建设发展的系列规划，如《“互联网+”人工智能三年行动实施方案》《智能制造2025》和《机器人产业发展规划（2016～2020）》等。2017年，发布了《新一代人工智能发展规划》，系统全面地提出了我国新一代人工智能发展的指导思想、战略目标、重点任务和保障措施。人工智能成为国家战略，是世界主要大国的通行做法。作为引领未来的战略性技术，主要发达国家都把发展人工智能作为提升国家竞争力、维护国家安全、占据前沿科技主导权的重大战略。中国推动人工智能发展战略，是中国作为全球性大国的综合实力提升和顺应国际形势发展的产物。

在中国人工智能战略规划中，人工智能治理作为人工智能发展的有机组成部分成为重要关切。一是提出建立人工智能技术标准，建立安全监管和评估体系，制定促进人工智能发展的法律法规和伦理规范。二是强调积极参与人工智能全球治理，加强机器人异化和安全监管等人工智能重大国际共性问题研究。三是深化在人工智能法律法规、国际规则等方面的国际合作，共同应对全球性挑战。

中国是国际人工智能后来者，但与18世纪工业革命以来中国错失的技术革命机遇不同，中国表现出前所未有的战略敏感性，依托后发优势实现弯道抢跑，在人工智能一些领域中取得了世界领先地位。虽然中国人工智能在部分领域特别是运用领域取得了骄人成绩，有的达到甚至超越了世界同类项目的最高水平，但整体能力和水平远未达到通用智能化程度，人工智能基础研究、组织工作推进、产业协同创新、环境发展优化的总体水平与国际先进水平仍然存在明显差距。⑲

尽管世界各国在人工智能治理上目前还处于起步阶段，但是按照人工智能的发展趋势，在不远的将来一些重要大国的人工智能治理机制会很快建构并完善起来，这是人工智能规范、有序发展的必由之路。尤其是人工智能与大数据、互联网和云计算等技术深度融合，人工智能的资源配置、技术外溢和社会影响的外部性极容易超越一国的边界而成为全球性的公共问题，因此人工智能客观上需要全球性协调机制、全球性协作平台以及全球性的标准和规则，也需要人工智能的道德伦理系统和价值理念的碰撞和讨论，这些都是人工智能全球治理的应有之义。正如联合国教科文组织和世界科学知识与技术伦理委员会在报告（2016年）中所指出的：需要呼吁世界各国采用全新的视角看待人工智能系统的未来监管。2016年12月，标准制定组织IEEE发布《合伦理设计：利用人工智能和自主系统（AI/AS）最大化人类福祉的愿景（第一版）》，旨在鼓励科技人员在AI研发过程中，优先考虑伦理问题。这份由IEEE全球计划下属各委员会共同完成的文件为人工智能的全球治理提供了重要参考（腾讯研究院：《信任、公正与责任：IEEE人工智能合伦理设计指南解读》）。中国作为人工智能大国，应抓住未来发展机遇，积极参与国际人工智能合作，为人工智能治理国际合作贡献中国智慧。

一是积极推动国家人工智能治理体系的建立和完善。国家人工智能治理体系建立和完善是参与人工智能全球治理的基础和前提。目前需要按照国家的人工智能建设规划，贯彻有关人工智能技术标准、法律法规和伦理规范等建设任务。为了提升行动效率，建议设立国家人工智能专门治理机构如人工智能发展协调委员会，负责制定和执行国家人工智能政策，加强研究与产业推进等工作的组织协调。推动建立国家级人工智能产业联盟，加强业界的交流与产业协作、知识产权共享和储备，推动产业链上下游紧密合作，促进重点领域如智能装备、智能机器人、智能汽车、智能终端等重点产品的研发与成果产业转化。在发挥好国内现有的人工智能学术团体和学会作用的基础上，成立跨部门跨学科专家委员会，推动人工智能重大、前沿、综合问题研究，定期评估技术演进、产业发展态势以及对经济社会发展的贡献与影响，推动对人工智能可能带来的就业、法律、伦理等社会问题开展研究，并提出适当的建设性、前瞻性公共政策建议与实施框架。⑳

二是搭建人工智能治理国际合作平台。鼓励高校和科研院所积极开展人工智能国际合作和学术交流，倡导人工智能科学家团体、专家委员会与发达国家的相关组织以及国际组织的合作交流、学术互动。探索人工智能产业联盟开展国际交流的机制，参与和引领国际人工智能相关标准的制定，提高中国在人工智能全球治理中的制度性话语权。

三是确立在人工智能治理国际合作中的合理定位。中国是现有全球治理体系的建设者、完善者和改革者，不做全球治理体系旁观者，也不推倒重来、重起炉灶。在人工智能治理领域，中国应该利用先发优势，力争成为未来全球人工智能治理规制的重要设计者、标准的制定者和伦理价值的倡导者。

四是为人工智能全球治理贡献中国智慧。人工智能已开始冲击现存的人类社会结构，人—机器二元社会正在逐渐地向人—机器—智能机器三元社会发展。如何保持人、机器、智能机器和睦共处是人工智能时代必须面对的问题。在中国传统文化中，无论是先秦的“天人合一”论还是宋明的“万物一体”论，都强调人与人、人与物、人与社会以及人与自然的整体性、和谐性、统一性关系。从当代中国看，人类命运共同体思想是立足当今世界不断加强的相互依赖关系并思考人类未来关系的价值观和方法论。从古到今，都能从中国文化元素和政策主张中寻找到三元社会结构“共生共存共济”的良方。

（本文系国家社科基金重大项目“提高中国在参与全球经济治理中的制度性话语权研究”的阶段性研究成果，项目批准号：15ZDA062）

注释

《埃森哲：AI使经济发达国家成为最大受益者》，网易科技，2016，http：//tech.163.com/16/1013/07/C388K55N00097U80.html。

高奇琦、李阳：《善智：人工智能的价值目标》，《中国社会科学报》，2017年8月23日。

黄志澄：《如何看待霍金对人工智能的警告》，《中国青年报》，2017年6月5日，第2版。

[美]库兹韦尔：《奇点临近》，李庆诚、董振华、田源译，北京：机械工业出版社，2014年，第80页。

李修全：《人工智能应用中的安全、隐私和伦理挑战及应对思考》，《科技导报》，2017/35（15）。

Brianna Crandall， "BSI standard tackles ethical hazards ofrobots，" FMLink， http：//fmlink.com/articles/bsi-standard-tackles-ethicalhazards-robots.

李修全、蒋鸿玲：《美日欧政府发展人工智能的新举措及对我国的启示》，《全球科技经济瞭望》，2016年第10期。

尹昊智、刘铁志：《人工智能各国战略解读：美国人工智能报告解析》，《电信网技术》，2017年第2期。

[美]马修U.谢勒：《监管人工智能系统：风险、挑战、能力和策略》，曹建峰、李金磊译，《信息安全与通信保密》，2017年第5期。

Herbert A. Simon， "Rational Choice and theStructure of the Environment，" 63 PSYCHOL.REV. 129， 136 （1956）

See Pei Wang， "The Risk and Safety of AI"， AGENERAL THEORY OF INTELLIGENCE， https：//sites.google.com/site/narswang/EBook/ topic-list/the-risk-and-safety-of-ai[https：//perma.cc/5LY3-CTLD. "An adaptivesystem"s behaviors are determined both by itsnature （i.e.， initial design） and its nurture （i.e.，postnatal experience）. Though it is still possibleto give the system certain innate beliefs andmotivations， they will not fully determine thesystem"s behaviors."

聂东明：《人工智能或将彻底颠覆人类现行法律体系》，阿里研究院。

尹昊智、刘铁志：《人工智能各国战略解读：美国人工智能报告解析》，《电信网技术》，2017年2月第2期。

齐昆鹏：《2017年人工智能：技术、伦理与法律》，《科学与社会》，2017年第2期。

何哲：《人工智能时代的政府适应与转型》，《行政管理改革》，2016年第8期

蔡自興：《中国人工智能40年》，《科技导报》，2016/34（15）。

陆汝钤：《张钹获中国计算机学会终身成就奖》，《中国科学报》，2015年2月2日。

责 编∕樊保玲