【导读】承认机器人格，设立信息托管机构，起草无人驾驶交通法，这些举措是否大开脑洞？这是为了应对人工智能社会的算法黑箱化、机器自主化、智能网络化。本周三（7月8日）晚，在第148期文汇讲堂上，16位现场听众和近300名zoom会议室在线听友共同聆听了季卫东教授缜密又极富创见的演讲。这场《AI的权利与义务，人类说了算？》主题由上海市法学会东方法学讲堂和文汇讲堂共同举办，首次进行探索了线上线下并进的新形式。此篇分享主题演讲。对话和提问将陆续上线。

我今晚和大家分享的话题是“人工智能对现代法律体系的挑战及其影响”。从人工智能的治理以及相关的法律问题研究这个角度来看，特别是从全面依法治国的立场来看，我们当然希望人工智能的发展能纳入法律可控的轨道。然而现实却是人工智能（AI）技术规格往往取代了法律、超越了法律。我将通过几个典型案例来观察科技对法律有何影响，进而分析当中的权利义务关系，并对挑战提出相应的对策和制度设计方案。

上海交通大学文科资深教授季卫东主讲《AI的权利与义务，人类说了算？》

人工智能引起的法与社会变迁

我们都能感受到中国的社会生活正在发生非常深刻的变化。

*社会变化：为数字覆盖，经济活动受数据驱动，交易形态从物品变为服务

首先，日常生活的方方面面被数字所覆盖，不说网购、外卖、一卡通交通、电子保险，就说移动支付，已经普及到商场停车缴费，连餐厅吃饭停车优惠券也是扫描二维码；疫情期间，我们采取测体温，出示随申码、群体检测等手段为疫情防控提供了扎实的技术保障。这些快捷便利的实质是什么？是把生活中所有的场面、所有的活动全部转换成了数字形式。

其二，由于在现实的世界之外还有虚拟的世界，因此经济活动的动力就从资源转移到了数据。有人甚至断言，数据是21世纪的石油，或说是一种交易的媒介通货。由于国人更喜爱追求便捷的生活方式，因此，我们对数据收集采取了宽容的态度，它使得人工智能在中国的发展更迅速，更有优势。那从法律上看，数据的所有权究竟属于谁？目前的法律对信息并不承认它具有排他性的绝对所有权，数据信息需要流通，如果规定明确的所有权，或基于一种排他性的保护，那么数据的收集和使用都变得非常困难。欧盟曾有过这样的法律尝试，就导致了至今没有大型的数据企业产生。

其三，今天市场交易的形态从物品转变为服务。比如说有了滴滴打车等网约车，出租服务这么方便，我为何还要自己购车？所有影视、音乐作品的网络服务也非常便捷，拥有光碟的意义就不大了。我们的交易对象越来越多的是服务，而不是物品。这使得社会经济结构发生变化，促进了电商的繁荣。阿里巴巴在十年前提出平台战略的口号，希望所有的商店都驻到其网络平台来提供服务，现在被电商的常态所全面实现，服务也变成了一种交易。

*算法黑箱化、机器自主化等变化，敦促法律概念和制度发生范式革命

所以，归纳我们所处的人工智能时代的社会系统，有三个特征——智能网络化、算法黑箱化、机器自动化。

人工智能时代的社会系统有三大特征（演讲PPT）

智能网络化。所有的人工智能的系统都和互联网是联系在一起，形成了一个智能网络化的社会。科幻系列片《终结者》讲了智能机器对人类进行末日审判的故事，人类社会和机器人展开博弈，中间有一个领域叫天网，现在我们社会确实变成了如“天网”一般的智能网络化的社会。

算法黑箱化。我们知道人工智能是靠算法来运作的，如今它的内容变得越来越复杂，运作的机制变得越来越难以理解，因此，出现了“算法黑箱化”现象。

机器自主化。机器人是否有自我觉醒的意识，是人类一直所关注的。去年8月在Youtube上，人们突然发现算法自动删除了所有机器人互相打架、打仗的残杀视频，这在某种程度上能否理解为机器人自我意识或者说机器崛起一种征兆？

以上诸多现象，使得现代法律体系正面对一种空前的挑战。

一方面，代码似乎正在许多领域取代法律。各种各样的技术的规格、代码框在改变制度安排；人工智能的算法在一定程度上会影响到法律的执行和实施。另一方面，经济和社会的的数字化，迫使法律不得不采取一些应对的举措，也在执法、司法中采用人工智能技术。

这样的背景下，法律秩序的基本概念和制度设计就需要范式革命。体现在从制度到程序，再到技术的观念变化，对法律制度的理解或许要有一些变化。另外随着平台的作用越来越大，政府就希望平台能够发挥监管作用。这出现了平台本身要导入对服务提供者的信用进行评估、审查，于是阿里巴巴有了芝麻信用。在这样的前提下，我们来理解几个案例。

自动驾驶的权利、责任以及伦理

6月27日，上海发生了一件让人非常振奋的事情：滴滴自动驾驶网约车服务开始了。两个月之前，长沙曾经进行过类似的尝试。而在2018年的3月，美国亚利桑那州发生了自动驾驶网约车的人身事故，当时该州进一步推动的自动驾驶计划就此搁浅了。

滴滴自动驾驶网约车服务开始（演讲PPT）

*自动驾驶网约车要解决诸多法律问题，如服务提供者资质，驾照等

由于自动驾驶车也会有异常情况，因此，目前驾驶座上也会有人坐着休闲。有人提议，一旦有意外，坐在上面的人可否将汽车的自动改为手动以进行控制呢？但此时是很容易产生混乱的。假设你本来坐在那里听着音乐，要应急反应还需要熟悉这些操作，要求极高。

从法律角度来看，自动驾驶网约车还存在诸多的问题。首先是服务提供者的资质，目前BAT（百度、阿里巴巴、腾讯）这些大的电商平台在自动驾驶领域有很多服务，他们的战略会影响到自动驾驶的服务状况，也会影响权利义务的设置；其次，自动驾驶与现行的道路交通规则是否相符？上海近年出台了最严厉的交通法规，交通秩序整顿得非常好，突然增加了自动驾驶车上路了，是否会有新一轮的交通秩序的适应？第三，人工智能需要有驾照吗？现行的《道路交通安全法》第19条有关于驾驶者资格的条规；如果人陪伴着自动网络车做监管，人工智能的依据数据快速反应优势就无法体现，因为无人驾驶的目标是方便之外还要安全。

第四，存在自动驾驶车辆的智能化级别与法律的关系。一旦导入人工智能，开始可能是辅助作用，就像现在人工智能司法审判辅助系统一样，有可能一部分是自动化的，驾驶员还要负责；但到了无条件的自动化，系统成为责任的主体。如果出了问题，是找汽车厂商、程序开发商，还是数据的提供商？他们都有可能要承担责任，这个责任如何认定？如何分配？这也是一个非常重要的问题。第五，人工智能的利用者目的不一样，无论是消费利用者还是商务用车，都应该采取消费者免责的原则。

*法律强调的是责任规则，自动驾驶会中需要立法确立责任主体

哈佛大学讲《正义论》出名的迈克尔·桑德尔诠释了所谓“电车难题”：一个司机开着失灵的无轨电车冲向有五人扎堆的铁轨，扳道工让电车转向只有一人的轨道，他该不该？如果把天桥上的胖子推下去就可阻止无轨电车碾压五人的悲剧，你干不干？这是一道复杂的伦理难题。

但从法律上来看，问题会变得不一样。首先行政部门在轨道管理上是否失责？警察是否注意到了人为的异常事态，为何没有阻止？电车公司管理者有没有充分履行注意义务？如果无轨电车突然失灵了，是不是该追究厂商的产品责任？法律重视的是责任规则：如何分担责任？如何明确责任？而在人工智能时代，责任的确定还真不太容易，相比以前有更复杂的面向。

迈克尔·桑德尔诠释了所谓“电车难题”（演讲PPT）

就自动驾驶而言，网约车是交易对象，不再是车辆本身；汽车不再是个人拥有的财产，甚至是炫富的手段，而是为我们移动而提供的一种服务形态。

现行的法律制度都是以物品的买卖为中心的。当物品转向服务的时候，现行法律体系就要思考变革了。自动驾驶汽车主要是使用了人工智能的软件，在法律上是把硬件和软件区分对待的。出问题是因为软件引起，就不能追究汽车厂商的产品责任。软件更新的责任在谁呢？颇为复杂。汽车上装了各种各样的软件，包括导航软件，应该厂商定期帮你更新，还是你买的软件制造商来为你提供？从法律的角度来看，这是一系列崭新问题。

对此是否有对策？既然滴滴自动驾驶网约车已经在上海上路了，作为人工智能高地的上海就应该及时调研和制定自动驾驶的交通安全制度的设计方案，继续为全国人工智能路径创新提供重要参考。

数据里的经济价值和人格尊严

这里是从法律角度来看的数据问题的两端——知识产权法和隐私问题。

*因保护隐私而使得数据难以流通，就会影响数据企业的发展

数据是人工智能的养料。数据越多，规模越大，数据的质量越好，数据的噪音越小，人工智能的功能也就越强，预测能力也就越强。

中国大数据产业规模是全球第一，在全球占比将近60%，人工智能的开发处于世界领先位置。数据的收集和应用方面确实存在着信息安全的风险。欧盟在1996年制定数据库权利法令，意在通过严格的数据库知识产权的方式促进数据产业，结果失败了。2018年，欧盟出台 《一般数据保护条例》（GDPR)，它成为一个非常典型的法律应对,这是从现代法治原则出发，来强调在大数据和人工智能的时代如何保护个人的隐私权。

GDPR提到个人享有数据的便携式获取权，用一个方便携带的形式安装我的信息，赋予我自己获取的权利；它提到数据主体，如果发现我的数据收集问题或者使用上的问题，就有权提出抗议，数据的管理者不能给出一个正当的理由的话，就必须终止电脑处理，当事人可以单方行使所谓权利；强调人工智能系统的信息公开透明性时，你的解释必须让数据主体能够理解，反之数据主体享有不服从权利；第五条还特别强调了收集数据的目的要很明确且要受到限制，只能在一定目的的范围之内来进行数据处理，还要最大限度地减少对数据的处理和保存，要让这个数据保持一种完整正确、随时更新并且匿名的状态。

我们可以看到，欧盟的标准非常严格。

这个世界最严数据规则的好处是能够防止个人的信息隐私权受到侵犯，缺点是数据收集起来难，因为数据的本质在于信息，信息很难进行排他性的绝对保护，甚至很难确定数据的所有权该归谁。整个的数据世界因为隐私权分割成一小块一小块的，就像我们过去的农村的自留地不能大规模耕作，欧盟也无法有效率地发展数据产业和人工智能产业。

去年世界人工智能大会法治论坛在上海推出了《人工智能安全与法治导则（2019）》，强调算法安全、数据安全、知识产权、社会就业和产品法律等五个方面，体现了硬法和软法相结合的原则。这让我想起哈佛大学法学院教授桑斯坦的话，他曾说，在人工智能时代，我们适用法律需要像用胳膊肘轻轻推一下（nudge）那样，才能保证恰到好处地进行人工智能的治理。

2020年世界人工智能大会法治论坛今天（7月10日）举办

这点倒和中国传统的因势利导、综合治理的做法有些相似，强调行政手段以及软法作用是中国的显著特色。比如说数据隐私的保护，欧盟强调的是个人单方行驶的权利以及诉诸司法手段，但中国强调的依法加强行政监管。

人工智能一旦受到保护之后，会使企业之间的收入产生很大的差距，导入机器人的产业的企业，生产效率会倍增，收益会增加。有人提出来向机器人征税的方式，但中国强调的是通过财政部门来实施合理的、精准的社会二次分配。

关于人工智能侵权的法律责任设计上，中国的做法是强调科学地来分配人工智能侵权的法律责任，要求人工智能的设计者、生产者、运营者、使用者承担法律责任，并且按照过失的程度进行分担，这个很像我们《民法通则》中规定的公平责任原则。

*人格权编界定了信息边界，面对隐私侵权，可由政府建立信息托管机构

5月份公布的《民法典》中，富有中国特色的内容就是单独设立了人格权编，人格权编设计时，民法学界具有争议，认为它是公法系的权利，往往是通过侵权责任的方式，为何要推进到《民法典》当中？现在看来，法律界都觉得人格权编的这种设置非常及时和必需，回应了大数据和人工智能时代的需要。

今年5月28日，十三届全国人大三次会议表决通过了《中华人民共和国民法典》

它及时地界定了隐私和个人信息的权利范围，第1034条要保护个人的健康信息、行踪信息，第1017条提出了虚拟身份，1019条提出数字肖像，1023条提出数字声音等；在大数据的搜集上，提出了个人信息必须遵循的原则、条件以及义务。在1035条规定的合法、正当、必要和适度原则；在1033条、1038条、1039条的安全保障义务中规定，不得泄露、篡改、非法提供。

《民法典》还规定了个人信息主体的权利构成，比如第1037条规定拥有查阅权、复制权、更正权、删除权等等；在网络侵权的鉴定上，也提出了网络服务提供者要履行注意义务，还提出了数据和虚拟财产受法律保护。这一切都和我前面所讲的社会系统的变化密切相关，非常有意义。

从数据的角度来看，一端是关乎经济价值的知识产权，另一端是事关隐私的个人信息安全，后者的安全问题比较容易引起注意。这里就产生如何看待提供给人工智能进行学习的数据问题。如，人工智能通过读取大量的绘画音乐进行深度学习，是否侵害了复制权问题？提供机器学习用的数据本身是否侵害著作权问题？个人消费信息作为学习数据使用时是否侵害隐私权问题？

就消费信息被侵权问题特别普遍。有个著名的例子，海外一年轻女子在网上购买了防止胎儿受损伤的物品，企业马上判断她已孕，紧接着把婴儿尿布、奶粉的商品广告送上门，同住的父母非常生气，女儿尚未结婚怎会怀孕？但过几天女儿告知自己确实怀孕了。从中可以看出大数据的人工智能分享确实会侵犯隐私。

现场听友与嘉宾在上海市法学会东方法学讲堂演播厅合影，后排右四为对话嘉宾金耀辉教授。

另一场景，家中电视基本通常是共用的。深夜1点，大人看了一个凶案件电影，第二天晚上孩子看动漫时，电视里冒出很多凶杀案电影的广告，这显然影响了孩子的三观。

所以，对隐私权的侵害确实很复杂，有各种想不到的情境。

另外，当你利用这些数据进行更有针对性的生产时，就存在数据保护与反垄断法的问题。它用于经济活动产生经济价值，但我却没有享受到它的好处，就涉嫌利益分配不公正。

在这里，制度设计不得不面对某种两难困境：注重个人信息和隐私的保护就有可能妨碍数据以及人工智能方面的产业发展，注重数据驱动的经济效益却又容易侵害个人尊严和隐私，甚至引发信息安全问题。要兼顾这两个方面，就需要认真对待制度设计问题。

是否有对策？中国应该考虑设立数据托管机构，对寄存个人数据的主体给予适当的积分奖励。数据托管机构对数据进行匿名化处理，企业可以在通过资质审查后采取缴纳使用费的方式来获得和处理数据，而数据主体也可以适当分享数据产业的利益。在日本，已经出现了设立复数信息银行的构想，个人可以像存款那样把信息储蓄到银行，企业向信息银行借贷个人信息。在中国，也许公共性质的数据托管机构更适合国情，数据托管机构可监督企业，以防滥用个人信息。这些和现代法律制度的设计有根本不同。

智能网络的平台治理与代码支配

美国的教授劳伦斯·莱斯格教授在1999年提出一个命题：Code is law，代码就是法律。现在这样的例子很多。互联网中各种各样的知识素材在流转，著作权保护是很重要。比如，一个电视台的原创节目，被人放到网上去播放来牟利，而原创方花了很大的力气才收回成本。又比如，为了著作权保护，规定所有的DVD制作按某个技术标准只能复制一次，以防不法者营利，但也会妨碍正常的学习和欣赏。此时，技术标准取代了法律规则。

劳伦斯·莱斯格教授在1999年提出命题“Code is law”

*代码取代法律的现象颇多，将来或许会出现代码和法律并进，寻找新治理方式

现在我们每个人都有随身带的健康码，随着疫情防控推进，各地健康码成为一个非常方便的应用场景，也带动了城市政务治理的技术升级，极大便利了民众。通过网络平台进行数字化治理以及经济活动，各种服务关系更需要以法律来明确界定权利、义务关系。由此可见，人工智能的技术规格和数据的安全分级标准的制定工作已经迫在眉睫。

技术规格如和你的法律规定不匹配，那只能优先技术规格，否则实现不了；但是反过来，也希望技术规格里考虑公平性。因此，人工智能专家和法律专家的合作非常重要。这时，我们看到一个很有意思的现象，代码和法律并行就有可能出现，不能说代码就取代法律了，但是代码也很重要，法律有规定如代码存在你就无法起诉。这也符合中国传统中的“礼法并行”文化，因为也有现代的“法律与政策并行”的实践经验，国人对于代码与法律并行的治理方式并不会产生抵触。在这个中间来寻找治理方式的创新，也许是在中国我们可以考虑的一个非常重要的切入点。

人工智能时代还有一个非常重要的变化，整个社会因为大数据而变得透明，但是算法黑箱化导致个人的隐私和自由很难得到保障，此时就出现了另一面——和人工智能相关的区块链协议，它的本质是使得把个人的隐私可以黑箱化的系统中枢不再成为必要，每一个人通过自己的那一部分的操作即可处理信息，然后在网络共识中形成相互信任。在某种意义上，是通过具体的智能合约来决定网络中的权利义务。

因此，要靠代码来解决技术问题的思路在人工智能时代变得越来越重要了，这两者之间能不能形成一种平衡关系？这个过程中，我们又一次看到让法律失效的例子。

2016年德国独角兽企业的数字货币The Dao被黑客劫持了，导致大量验证码流失。面对这种情况法律束手无策。根据网络共识，最后采取技术性裂变的方式解决。出事前的验证码失效，黑客无法从中继续获利，持币人的损失按后面持有的比例补偿。对这样的处理相关人员皆大欢喜。可从法律上来看却问题多多。例如从黑客处获得验证码的第三人是无辜的，他的损失怎么处理？等等。这个实例再次证明了代码取代法律的现实，也让我们认识到AI时代制度创新势在必行。

本期讲堂首次进行线上（zoom会议室）线下（现场）并进的形式

*如何预防“算法黑箱化”妨碍问责？承认机器人格，以AI制衡AI

2016年，美国、日本、欧洲很多国家都在这一年开始加强人工智能的制度建设，中国也在同一个起跑线上，2017年就制定了《新一代人工智能的发展规划》《促进新一代人工智能产业发展的三年行动计划》。那时，我们已经意识到大数据和人工智能存在的风险，2019年制定了《新一代人工智能的治理原则——发展负责任的人工智能》，提出八条基本原则：和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理。

与人工智能治理相关的立法也从2016年11月开始不断诞生。比如，《网络安全法》里规定个人信息的删除权、订正权；2017年的《个人信息安全规范》里，有对网络平台进行规制，2018年的《电子商务法》；里明确网络平台经营者的监管责任；2020年3月《网络信息内容生态治理规定》里有整顿个人信息交易，调整算法推荐逻辑。就在上个月（6月），全国人大常委会对《个人信息保护法草案》《数据安全法案》进行了审议，对人工智能数据安全立法调研也在上个月开始了。所以在立法方面已经初具规模。但是随着大数据和人工智能的快速推进，立法的节奏也要跟上。

在这样一个智能网络社会，人工智能是一个规则嵌入系统，它可以促使法律的规范严格执行，所以人工智能是有利于法治的，能够形成硬法，甚至能够加强硬法的效力，但是在智能网络化的背景下，它必须要借助软法来补强各种各样的互动中的情节的系统，但是人工智能“算法黑箱化”会导致责任政府和问责机制的动摇。

这里的对策是，要承认机器人格，即主体资格。似乎有点悬，但有现实意义。其一，当人工智能的应用越来越广泛的时候，如果你不承认机器人有人格，就等于让人工智能的开发者、制造者为算法失误承担无限的连带责任，这会妨碍人工智能发展。其二，为了使这种责任有限化，为了确保智能合约的违约责任能够依法追究，有必要承认机器人的主体资格。实际上，只有当机器人有主体资格时，以人工智能来制衡人工智能的构想才能落到实处。如果要机器人赔偿，赔偿方案就以机器人的收入者的存款来解决这个问题。

文汇讲堂负责人李念担任主持

最后，简单梳理一下涉及到的与人工智能时代相关的问题，包括装置、网络、数据、人工智能、服务等五个方面，它带来的法律范式的创新有三。一是从物权到服务评价的权利观念变化；二是从合同和法律到代码的规范形态变化；三是树立e-person的概念：智能合同的违约责任，人工智能利用者的责任有限化。

显然，我们面对的法律体系与过去大不相同，请各位一同见证人工智能时代的法制巨大变化吧。

（整编：李念）

作者：季卫东

现场拍摄：王少君、袁琭璐
编辑：袁琭璐
责任编辑：李念

*文汇独家稿件，转载请注明出处。