姜野 李拥军|破解算法黑箱：算法解释权的功能证成与适用路径

        我国正在着力构建发展社会信用体系，希望通过这一制度营造守信光荣的舆论氛围，推进政务诚信、商务诚信、社会诚信和司法公信建设。截止2017年底，个人征信系统收录自然人9.5亿，企业征信系统收录企业和其他组织2510万户。而百行征信是我国首个市场化的个人征信机构，包括芝麻信用、腾讯征信、深圳前海征信在内的8家个人征信试点机构，致力于构建一个国家级的基础数据库，实现行业的信息共享，解决征信市场的“数据孤岛”问题，目前已经签约接入数百家机构的信用信息。伴随信息应用场景的不断丰富，大数据征信将不再单纯地用于经济金融活动，还可将应用场景从经济金融领域扩大到如租房租车、预订酒店、求职就业、保险办理等各种需要信用履约的生活场景，由此大数据征信呈现出了现代性特征。吉登斯在论述现代性时提出了“脱域”的概念，是指社会关系从彼此互动的地域性关联中，从通过对不确定的时间的无限穿越而被重构的关联性中“脱离出来”，并区分了两种脱域机制的类型，即象征标志的产生和专家系统的建立，二者能够契合算法在社会信用体系建设当中的应用。
        首先，象征标志指的是相互交流的媒介，能够将信息传递开来，用不着考虑任何特定场景下处理这些信息的个人或团体的特殊品质。在美国，每个人的信用分甚至比金钱、身份证重要。格林斯潘说，信用评分早已不再局限于评估信用风险，它参与一系列与贷款服务相关的活动。我们国家的信用体系建设则力争使每个人都有资格拥有信用、积累信用，并享受信用。目前，“信用”一词的内涵和外延不断扩大，除却影响征信的常见因素外，诸如超速驾驶甚至是高铁内吸烟、霸座都有可能对个人信用产生损害。有学者认为我国当前的社会正处于大规模“评分社会”的初始阶段。百行征信更是致力于将信用评分拓展到金融借贷、购物、出行、公益等更多场景，信用评分发挥着愈发重要的作用。“看不见”“摸不着”的个人信用，正在逐步“变现”。
        其次，与象征标志一样，专家系统也是一种脱域机制。它是由技术成就和专业队伍所组成的体系，将社会关系从具体情境中直接分离出来。征信企业通过对身份特质，人脉关系，行为偏好等数据的采集、整理、分析和挖掘，运用大数据技术设计征信评价模型算法，多维度刻画信用主体的“画像”，进而向信息使用者呈现信用主体的违约率和信用状况。不同的征信企业由于其数据的来源、类型等存在差异，可能采用不同的算法设计和理念，比如美国泽斯塔（Zest Finance）公司是从消费者身上挖掘传统信用评估方法无法发现的费用（All Data is Credit Data），而Upstart公司的分析模型则秉承风投理念，认为信用主体的教育程度和职业前景越好，则未来的信用状况就会比较好。不同理念的背后，都是利用算法这一技术和背后的专业队伍作出更精准的金融决策，都属于分离具体情境的专家系统。
        所有的脱域机制都依赖于信任，信任在这里被赋予的，不是个人，而是抽象能力。因此，算法决策系统是否能够完全得到信用主体的信任是接下来需要考量的问题，至少从现阶段的发展以及具体案例进行分析，不可避免地会导致一些现代性带来的风险。

        算法的应用会为数据保护带来很大风险。一方面体现在对数据的挖掘利用以及算法的自动分析将超越数据主体对数据的控制，另一方面表现为将隐私数据以及非金融属性的数据全部纳入算法决策过程中。个人呈现出的数字化生存趋势，使得在评分过程中可以被参考的个人数据越来越丰富。算法强大的学习能力不仅难以排除已经失效的过时数据，还可能将聊天记录、搜索记录等私密数据都纳入到分析范围，信用主体全方位信息数据得以被全盘收录。如此海量的收集将为信用主体隐私的保护带来巨大挑战。因此帕斯奎尔提到在越来越多的情况下，信誉等级是通过隐秘程序对隐秘数据进行运算得出来的。
        另外，生活场景的数据是否都具有分析价值需要辨别。个人的信用评分以还贷频率、已用信贷金额等金融方面的记录作为决策来源无可厚非，再结合抵押及法院判决等也存在合理性，但有报道称我国征信评分体系开始用丰富多样的“社交数据”或“电商数据”等场景数据去融合“金融数据”从而全面展示用户信用数据。由海量储存在 Cookie里的网络行为数据体现的是用户的网络行为信息，这种网络行为信息具有市场价值和潜力。由此带来的问题是，是否所有的数据都对个人信用评估有意义。2014年美国政策与经济研究委员会(PERC)的一项研究结果称，非金融信息在信贷决策中的作用有限，社交信息对于判断借款人的还款意愿和能力暂无预测力。因此，生活场景的数据并非都具有金融属性，对数据的无限分析很可能导致数据失控进而对数据主体的权利产生侵害。

        从决策的平等性角度来看，算法在对数据进行分析利用时不仅会带来数据滥用与隐私侵害等风险，还可能因为数据本身所延续的观点和理解的差距而带来偏见与歧视。有研究称自动化系统对所有人的评分都是一样的，从而能够避免歧视。但是此说法具有误导性，因为人类编写预测算法，他们的偏见和价值观会通过源代码被嵌入到软件的指令中。正如有学者谈到，算法并非是一种完全价值中立的科学活动或数学活动，其总是蕴含着价值判断，总是与特定的价值立场相关。我们在程序和算法当中观察到的歧视，是我们在社会结构和环境中存在的不平等和不同价值取向所固有的。同时，由于硬件和软件都并非完全可靠，机器也可能出错。在个人征信中，算法决策可能会使黑人及其他有色人种获得银行贷款的机会在相同条件下明显减少。在美国就出现了类似的案例，有用户发现好事达信用评分程序存在缺陷，这一缺陷导致约500 万名非裔美国人和西班牙裔客户受到歧视。经过数年的诉讼，好事达公司最终同意达成数百万美元的和解。作为和解协议的一部分，好事达允许原告的专家对未来的评分模型进行批评和改进。算法歧视的风险很可能出现，我们对于披着自动化决策外衣的算法必须保持审慎态度。

        我国《征信业管理条例》第26条第3款规定，信息主体认为征信机构或者信息提供者、信息使用者侵害其合法权益的，可以直接向人民法院起诉。但是自动化决策在信贷部门发挥了巨大作用。在那些申请贷款的人看来，这个流程就是一个黑箱，他们知道提交的材料和得到的结果，却不知道里面发生了什么。从一个基于规则的世界转向一个充满随机性和神经网络的黑箱，会使得侵权事实发生之后的责任分配成为难题。算法研发在物理上的隐秘性和分散性使得监管机关很难确定是谁以及在何处制造潜在的威胁。
        其一，认定侵权主体的过错存在难度。在以往的司法实践当中，人民银行征信中心作为共同被告的案件仅有5例，并且法院都认定征信中心不存在过错，无需承担侵权责任。裁判中法院均适用《个人信用信息基础数据库管理暂行办法》，表明征信中心对商业银行报送的个人信息，无对或错的审查义务，征信中心在处理对外提供查询的信用信息操作程序过程中，其主观上不存在过错，不应承担民事赔偿责任。
        其二，技术背后的归责原因复杂。技术受科学的客观性之影响而具有客观面向，但技术有其自身的发展模式和逻辑。同时，技术并非独立于人的精神世界，甚至在法兰克福学派的学者哈贝马斯看来，技术和科学都是意识形态。算法作为一种技术，本身应当是中立的。技术中立不仅包括功能中立和价值中立，还有责任中立，即技术使用者和实施者不能对技术作用于社会的负面效果承担责任，只要他们对此没有主观上的故意。算法的黑箱特性很可能成为决策机构推诿责任的工具和屏障，当决策产生错误甚至为相对人的利益带来巨大损害时，他们便可以该决策是由算法自动作出而主张技术中立进而逃避责任，这将为法益侵害之后的责任分配带来风险。

        依据传统征信法规，相关信息依法应当在一定期限之后被删除。黑名单、重点关注名单主体在规定期限内纠正失信行为、消除不良影响的，不再作为联合惩戒对象。还可以通过公开信用承诺、提交信用报告等方式修复信用。在诸多新闻报道中，都可见到关于我国法院出台相应措施督促失信被执行人尽快履行义务的宣传。但是我国的失信被执行人的退出机制是否健全，以及在退出之后是否能够完全消除不利影响需要进一步的研究。此外，很多失信情况并非出于个人的主观故意，比如银行系统故障、被他人冒用身份恶意盗刷信用卡等都可能产生不良信用记录。但大数据时代，所有的信息都会被存储到大大小小的电子存储器中，由于存储介质和信息备份的广泛性，一旦信息被存储就极难彻底删除，这就造成了技术层面上的法外空间。由于信用主体既无法控制信息的搜集与利用，又很难阻止其被算法分析，从而导致那些有过不良信息记录的用户永远也不能够抹去污点，带来难以修复信用的风险。

        人工智能时代，算法的角色逐渐超越了网络平台的“工具性”角色，而成为信息配置的基本规则。对此，有学者提出“算法权力”的概念，还有学者将这个有大数据算法逐渐占据统治地位的社会形象地称为“算法社会”。按照兰登•温纳的总结，自主性是技术最根本的特性，技术自主性意味着技术摆脱了社会控制，正在形成一种难以抑制的力量，人类自由将受到威胁。量化分析和数据挖掘技术的提高使得用户逐渐演变成为数据的汇总，为了获得更高的信用评定，信用主体无法避免被算法所设定的目标和方式左右。人在不知不觉中被算法所规训，因此需要对新技术加以规制。算法解释权能够通过赋予数据主体获得算法自动决策的解释的权利，明确数据控制者的解释义务，增强算法透明性破解算法黑箱，进而达到提高算法可责性的目的，形成对算法权力的有效规制。

        算法解释权能够平衡信用主体与金融机构之间巨大的数据鸿沟，当出现数据异常使用的情形时可以及时进行纠偏，有效防范算法歧视和信用修复的风险。算法决策的结果不公正可能会导致主体权益的侵害。个人信用的评分系统由于技术的不断发展，逐渐形成了一种以机器自动化决策为主导的评价程序，有学者提出应回归自动化决策特殊的时代背景，为相对人配置算法解释请求权，从而打破双方地位不平等和信息不对称的局面。增强算法的透明度不仅能够帮助数据主体更加详细地了解自己享受服务、获取结果的运作机制，也可以促使数据主体上传更加准确，价值更高的数据。算法解释权可以看作矫正信息不对称的有效工具，能够在信息披露的基础上使得博弈双方的力量趋于平衡，缩小存在于数据控制者和数据主体之间的巨大鸿沟。

        基于上文的分析，算法本身也可以被看作是一种权力，因此算法解释权可被当作一种对抗算法权力的知情权。传统的知情权对抗的是国家公权力，宪法中的知情权是公民对国家的权利，包括寻求获取立法机关、司法机关和行政机关所掌握信息的权利。在征信领域的知情权，主要针对信息的收集过程，作为信息权之下的前提性子权利而为各国征信立法所保护。在人工智能的发展过程当中，算法因其计算机语言的独特编写构成了黑箱特性使得非专业人士无法理解其运行机理。另外，由于知识产权的限制，算法开发者与使用者对算法的运行过程实行严格的保密制度。与此同时，由于其内在的技术理性设计，很多时候以追求效率为第一目标，难免会造成准确性的缺失，造成信用主体的利益受损。假如算法解释权得以设立，无疑可以保护信用主体获取数据处理的知情权益，揭开算法的“面纱”，增强算法的可责性与透明性。

        算法解释权除却知情权的面向外，还具有向算法使用者和算法制定者申诉的功能。在欧盟GDPR条款当中也提到了这种对算法决策进行挑战的性质。算法的设计与实施，是一个长期的动态过程，无论是监督式学习算法还是非监督式学习算法抑或是深度学习算法，都始终处于不断更新的状态，对算法的评估也不应是一蹴而就的。伴随其学习数据的质与量的提升，算法也在不断发生着变化，算法的使用者必须保持对算法运行的监督和修正。由于算法解释权内在的挑战性质，其本身就包含了对算法决策的不信任甚至质疑，因此可以作为评判算法设计优劣、使用效果好坏的标准。假如一套算法总是被决策相对人要求解释，那么就证明一定在某个环节的设计上存在缺陷。设立算法解释权可以从另一个角度验证算法结果的准确性与算法设计的科学完备性，通过使算法更加公开透明运行倒逼算法的设计更加完善。

        本文所指称的算法只是一般意义上的自动化决策工具，并未涉及信用评级机构具体使用的细化算法。有学者对算法的解释提出了质疑并表现出悲观态度，认为人工智能技术虽然能提高信用评估的准确性，但其学习过程非常复杂，甚至程序员也不能完全了解机器是怎样学习的以及是如何通过学习得到结果的。欲探知算法的可解释性，必须先了解算法的内在机理。自图灵提出“机器与智能”起，就一直存在两派观点，因此上世纪50年代达特茅斯会议之后，算法的设计主要采用两条不同的路径。一种是自下而上，基于逻辑的方法，将社会当中出现的事情用数学符号表示之后进行运算，可将之称为符号AI。而另一种是自上而下，打造一种类似人脑的神经网络，这可以称作“神经网络AI”。人工智能在近两年热度暴涨也是因为神经网络以及深度学习在数据的大量累积和硬件性能的大幅提高之下取得了突破性进展。前一种路径类似逻辑当中的归纳，而后一种则类似演绎。算法的应用其实早已有之，两种算法的路径也并非水火不相容。
        在算法解释权的实现方面，有很多学者作了相关的研究，爱德华和维尔在文章当中总结了两种解释的类型，一种是以模型为中心（ModelCentric），这一类解释要求算法使用者提供设置信息、训练员数据、性能指标、预估的全局逻辑以及处理信息。其中，预估的全局逻辑最为关键，其要求以一种决策相对人能够理解的简化的、平均的、易懂的方式来提供输入转化成输出结果的过程。第二种解释类型要求以主体为中心（SubjectCentric），分别以敏感度、具体案例、人口统计学以及绩效为中心进行解释。第二种解释并不面向整个算法的设计，重点在于对决策相对人进行最有针对性的结果分析。
        我国传媒领域的学者在对新闻分发的算法进行研究时提出了三种打开黑箱的方式，并将之归纳为“解锁ITO三阶段”“逆向工程学”与“可理解的透明度”。第一种要求对算法运行过程中的数据输入、数据吞吐、数据输出这三个环节所涉及的数据和操作步骤进行全面的、具体的公开；第二种指的是基于专业知识发掘系统模式，用人工去推断“黑箱”中的算法规律。“可理解的透明度”不追求从数据库到推荐算法的彻底公开，而更加注重普通大众是否可以不依靠专家、不需要机器学习的专业知识就可以理解。但是笔者认为这样的划分方式稍显牵强，因为可理解的透明度本身就需要建立在“逆向工程”（或称反向工程）的基础之上。软件反向工程的直接目的是从目标软件中获得所需信息，所获信息可能被用于维护和改进软件、获取兼容信息等多种目的。也就是说前一种是后一种的实现方式，因此不宜将后两种方式截然分开。基于算法的逆向工程，国外有学者提出“反设事实解释”的主张，他们认为这样的解释方式能够避免对复杂专业的算法进行全面公开，而且可以通过建模计算告知并帮助数据主体理解决策的过程，还可以为之排除不利决策或者指出为了获得更好结果需要作何改变。
        通过分析不难得出，算法解释权的实现主要存在宏观与微观两种不同的路径，一种是对整个算法的设计进行解释，而另一种则针对具体的决策。两种不同的解释路径代表着不同的解释对象，如果说一种算法的审查与监督需要公权力来执行，那么必然会采取第一种路径，假如只是由于决策相对人的异议来进行解释，那么应当采取成本较低的第二种路径。无论采取何种路径都可以达到破解算法黑箱，完成解释算法决策的目的。

        国外研究主要从分析GDPR相关规定的角度表达自己的见解，且多将目光聚焦于对算法解释的可行性以及算法解释权的外部属性，而针对算法解释权本身的构造着墨不多。由于本文以社会信用体系建设为具体场景进行展开，因此算法解释权在征信领域的主体非常清晰，就是被算法自动化决策的信用主体。因为算法解释权具备的高额成本使得主体必须进行限缩，即使存在利益相关人员（比如配偶），也不能够将主体的范围扩大。个人信用强调的是一种经济上的能力，而无民事行为能力人不具备参加自主经济活动的能力，限制民事行为能力的人信用记录相对较少，很难形成有效的社会信赖和声誉，因此算法解释权的主体范围主要针对的自然人应当是完全民事行为能力人。法人作为法律的拟制人也具备行为能力，而且在实践当中，企业的信用评级甚至比个人征信更加重要和常用，因此法人也具有申请算法解释的主体资格。
        在客体方面，因为社会信用体系建设中的算法解释权是一种以具体决策为中心，其客体就是算法自动化决策。而信用评级评分决策的形式与内涵较为丰富，表现为信用报告、征信记录、贷款额度等，造成了其客体的多样性。正是因为此类决策会对相对人的生活、经济甚至名誉产生影响，当这样一种决策形成时，解释权的主体就具备了请求对决策进行解释的权利。还需要说明的是，在这种解释模式当中，解释算法决策所提供的有意义的信息主要包括特定决策作出所参考的数据、信用主体的画像及计算过程中各项数据的权重等。

        大数据时代的算法决策展现的是一种典型的技术理性。算法解释请求权的制度核心即为反对完全由机器操作的自动化决策，要求特定情形下人为因素的适当干预，避免使特定个人的命运完全由机器操纵，甚至出现无法预测的极端风险。GDPR第22条第三款特意对自动化决策的人为干预作出规定，要求数据控制者应实行合适的措施保护数据主体的权利、自由和合法权益，数据主体至少应获得对控制者一方实施人为干预、表达自身观点和同意决定的权利。
        但这并不意味着复核与解释的权利可以随意行使，由于算法解释权的成本及其对效力的影响，务必对其适用加以限制。在知情权保护的实践过程中，就存在滥用知情权的情形。中国人民银行征信中心认为，异议处理将会使征信活动从经济层面看很不划算，并且会影响到征信的公信力。因此在对算法进行解释之前，亦即同意算法决策的相对人对算法解释的申请之前，应当先对该请求进行初步审查。由此便引出了算法解释权请求的限制问题。笔者认为，只有当算法作出的决策不满足合理预期时，方可以主张对算法进行解释。中国人擅长运用“比”的思维和方法来分析问题，这样一种算法解释权其实类似在普通考试当中有考生在拿到最终成绩单时发现与自己在考试结束后的预估成绩存在明显出入时要求复核的权利。
        对于自己考试成绩的预估就是一种合理预期，但是如何判定合理预期的标准又是需要解决的问题，由于各主体间成长经历与教育背景等的不同，合理预期必然有所差异。因此有必要在征信业管理机关内部设置单独部门，对算法解释的请求进行一定的形式审查，防止金融成本和社会资源的浪费，在保障决策相对人的算法解释权的前提下帮助信用社会体系更好发展。

        诚信作为社会主义核心价值观的重要组成部分，无论对企业还是个人都极为重要。在信用社会体系建设过程中，在“一处失信，处处受限”的顶层设计指引下，信用的降低不仅会对社会评价产生影响，还可能导致财产利益和机会成本的丧失。征信业发展不成熟导致我国在2013 年《征信业管理条例》颁布前没有国家层面的信用法律法规。在征信中运用何种科技手段进行决策本是一种自由的市场行为，法律无需介入。但是由于对以算法为代表的新一代人工智能技术而言，其安全性、可解释性方面的技术创新发展还远远不够,算法作出的决策可能对决策相对人的重大影响以及可能产生的风险，法律必须对技术进行归化。
        中国人民银行征信中心副研究员刘新海指出，对消费者信用进行评分作为涉及消费者切身权益的半公共产品，不仅要有足够的预测准确率，还要具有可解释性。这对技术发展既是挑战更是机遇。如何探索出一条合理可持续的数据收集处理之道，是摆在金融、科技与法律界面前的共同问题。如何通过算法自动决策对数据加以有效利用并且能够不损害相对人的利益更是亟待解决的关键问题。算法解释权的提出能够在一定程度上对科技的运用起到监督与引导的作用，算法解释权旨在通过赋予数据主体获得算法自动决策的解释的权利，明确数据控制者的解释义务，增强算法透明性进而达到提高算法可责性，达到尊重创新与保护相对人的双重目的，具有现实的正当性基础。相信在算法解释权的构建与适用过程中，能够促使企业积极改进算法以使其运行更加合规，更好推进社会信用体系建设。

（责任编辑：丁  翔）

- since 1956 -

欢迎转载传播

点击左下方“阅读全文”  可下载本期全文