财政支出绩效评价的质量标准及控制体系研究——国际绩效评价的经验与启示
《财政研究》第10期
内容提要： 经济合作与发展组织（OECD）、美国发展援助署、澳大利亚政府等国际机构和外国政府将评价质量控制与管理作为提升评价质量、优化决策并促进组织学习的重要保障。在分析国际评价质量管理主要经验的基础上，本文总结了质量控制的主要原则、关键要素和活动阶段。此外，结合国内财政支出绩效评价的特点，针对质量控制的内涵、意义与主要特征，在绩效评价活动的准备阶段、实施阶段、报告阶段和结果应用阶段设置了不同的质量控制环节，结合合规性、适当性、参与性、准确性和有效性等五大原则，建立了适应我国财政支出绩效评价质量控制关键要素，为全面监督与管理评价质量，提升预算绩效管理的权威性、公正性和有效性提供一定借鉴。
关键词： 预算绩效管理 绩效评价 质量控制 再评价
中图分类号：F810.45 文献标识码： A 文章编号：1003-2878（2016）10-0076-09
一、引 言
绩效评价作为审计学与社会科学的交叉学科，已经在国际社会获得了越来越多的关注，同时也发展出相对规范成熟的行业、制度与标准。在我国国内，随着全国预算绩效管理相关工作的不断深化与积极推进，如何保障与提高绩效评价质量，从而对财政支出运行过程和结果进行客观、公正、有效的判断，也成为当前有效建立现代财政制度的重要内容之一。然而，由于绩效评价在我国仍是相对较新的领域，评价指标体系的合理性、评价方法的科学性、评价标准的客观性、评价机构自身能力等都尚需在实践中不断完善。从某种程度来说，评价质量的参差不齐影响了预算绩效管理的权威性和客观性，同时制约了评价结果的有效应用。因此，如何借鉴国际社会在评价管理领域内的相关经验，从而建立我国财政支出绩效评价质量控制体系与标准，成为财政部门、预算单位、评价机构和社会公众等普遍关注的问题。
二、国际绩效评价质量控制的经验与启示
（一）绩效评价质量的内涵与定义
按照经济合作与发展组织发展援助委员会（OECD DAC）、美国发展援助署（USAID）、澳大利亚政府等国际机构或西方国家政府的解释，绩效评价是对即将开始、正在进行或是已经完工的干预措施的设计、实施与结果所开展的系统性、有目标性的评估。评价的目的就是对干预措施的价值和重要性做出客观描述，并对决策者提供组织绩效和实践经验的信息与证据。
根据ISO质量标准对质量概念的定义，质量是“反映实体满足明确和隐含需要的能力和特性总和”，质量控制是指“为达到质量要求所采取的作业技术和活动”，因此，若将绩效评价作为一种知识服务，那么质量是指该服务能够体现其满足评价委托方需求的能力和特性，质量控制就是对满足评价标准而采取的相关作业和活动。西方发达国家和国际机构为了提升评价质量，通常会出台严格的规范与标准，以统一组织的内部评价或是外部独立评价工作。
（二）国际绩效评价质量控制的主要做法
1. 经合组织发展援助委员会的质量控制要求与标准
经合组织发展援助委员会认为，一个高质量的评价应该为加强发展结果的问责或有利经验的学习提供可靠而有用的证据，因此，需要对评价的全过程活动建立内部或外部的质量控制体系，考虑所有关键利益相关者的参与性，并确保评价的透明度和独立性。此外，还要求评价机构遵循相关职业道德，提高结果的客观性与科学性，并确保评价结果能够达成一定共识，促进决策或加强学习。
（1）评价设计与准备阶段的主要要求：一是在分析项目的逻辑框架与预期目标（产出、效果与影响）的基础上，明确评价范围、项目目标群体、项目组织架构和实施管理、项目经费来源等关键信息，说明项目实际结果与预期目标之间的差距及理由；二是要求关键利益相关者能够在评价早期充分介入，甚至参与评价设计，为建立客观的评价问题（指标）提供充分意见；三是该阶段还关注评价问题与指标体系的合理设计及选用，要求数据收集方法科学而可靠。
（2）评价实施与报告阶段的主要要求：一是评价机构的选择必须采用公开、透明的采购流程，并要求评价机构具有相应的专业知识和评价技术；二是评价机构须保持独立性，能有效识别出所有的关键利益者；三是关注评价报告的质量，报告需要包括能够精炼反映评价主要结论的摘要、项目的主要背景和逻辑框架，特别是详细解释所有数据来源、样本选择或案例研究的依据，以及评价方法的选择；四是对所有指标合理打分，并作出科学的归因，为下一步评价结论的提炼和建议的提出作出铺垫；五是对评价计划报告（Inception Report）、评价报告初稿（Final Draft Evaluation Report）和评价报告（Final Evaluation Report）的质量作出了明确而详细的要求。
OECD认为，绩效评价质量的核心是数据质量，只有真实数据才有可能产生客观的评价结果，并对管理决策产生正确的影响。在实际评价过程中，通常会受到时间和预算的约束，因此并不存在完美无缺的数据，但对于一些重点项目、重大项目资金的数据仍然需要严格的数据质量审查机制。数据复核时可采用非正式的、半正式的和正式复核法等（见表1），从而确保评价结果的可靠性与真实性。
（3）评价结果应用和学习阶段的主要要求：一是评价结论、经验与建议等要清晰、目标明确，且具有可操作性，从而能够满足委托方对评价目标（问责或学习）的需求；二是要求所有建议都要具有很强的操作性，明确责任部门，确保评价结果能够切实地改进管理，加强学习。
2. 澳大利亚政府绩效评价的质量控制标准
澳大利亚政府认为，高质量的监测与评价要能够为项目管理带来有价值的信息，因此建立相关质量标准就显得格外重要，并在此基础上针对评价过程的三大阶段共54个关键点建立了质量控制的相关标准：
一是监测与评价设计阶段的19个质量风险控制点，主要围绕项目目标明确性、利益相关者参与情况、逻辑框架清晰度、关键指标合理性等。
二是监测与评价实施阶段的22个质量风险控制点，主要探讨能够保障评价顺利实施的资源是否充分、评价团队知识构成是否合理、利益相关者覆盖面是否足够广泛、抽样等数据收集方法是否合理等。
三是监测与评价结论报告阶段的13个质量风险控制点，主要要求评价报告需要有精炼而准确的摘要、能够对被评价对象的清晰描述、对项目管理团队绩效进行有效解释、评价结论必须达成共识等。
3. 美国发展援助署（USAID）绩效评价的质量控制标准
美国发展援助署将评价工作流程主要分为11个步骤：成立评价工作组、撰写评价方案计划、设计性别平等指标、吸引多方参与、设计社会调查方法、建立数据记录规范、收集相关数据、形成评价结论、完成评价报告正文、形成改进举措、评价报告共享等。
此外，USAID认为，绩效评价活动的最终产出就是评价报告，因此需要建立清晰而明确的质量标准来促使提高报告本身的有效性，并在此基础上形成了“评价报告质量检查清单（Checklist for Assessing USAIDEvaluation Reports）”，其主要内容见表2。
USAID对评价报告的质量检查清单重点检查要素涵盖了报告摘要、项目概况与范围、评价方法和评价结论等各个部分的关键点，这对于质量控制提出了明确而细化的要求。
（三）国际绩效评价质量控制的主要经验
1. 识别了评价活动不同阶段的质量控制要素
根据质量控制理论，所谓质量控制是为了通过监视质量形成过程，消除质量环上所有阶段引起不合格或不满意效果的因素。因此，绩效评价形成过程的阶段划分及各阶段关键要素的识别成为国际机构评价质量控制的核心内容。根据上述相关国际机构或外国政府的评价实践，一般根据评价活动将评价质量控制环节的关键阶段划分为以下四个方面，并重点关注下列关键要素：
（1）评价准备阶段。在该阶段，国际社会主要是根据各组织有关规定，首先确认和选择被评价对象，通常会选择资金量在平均水平之上，或者选择一定比例的项目进行独立第三方评价，并经正式采购流程后确认评价小组。该阶段通常要求该小组具有较丰富的行业经验与评价经验，同时确保有足够的预算和人员资源安排。该阶段质量控制的核心是评价小组的能力与相关资源保障。
（2）评价实施阶段。在该阶段，国际社会要求评价小组根据委托要求，设计合理的评价实施方案，包括开发评价框架、设计面访、座谈会和实地调研的数据调查清单，分解评价任务与制定评价工作时间表等。通常要求评价小组能够按照相关原则和规范，搜集各方数据，合理打分评级，为形成合理客观的评价结论提供依据。该阶段质量控制的核心内容是数据的准确性、真实性和可靠性。
（3）报告形成阶段。评价报告质量是整个评价工作质量控制环中的重要节点，在该阶段通常会设置非常明确而详细的标准，比如评价质量检查清单等，会对报告的各个主要部分进行标准设置。该阶段质量控制的核心内容是报告结论的准确性与可靠性。
（4）结果应用阶段。国际机构或西方国家政府通常将评价结果应用于学习或者辅助决策，并要求将评价报告与结论在利益相关者、项目合作方和社会公众等范围内公开。该阶段质量控制的核心内容是评价结果的公开程度与共享价值。
2. 形成了评价质量控制的主要原则
若将绩效评价视为知识服务活动，根据上述不同评价活动阶段质量控制要素的识别，可以将国际社会评价质量标准的建立归纳为：合规性、适当性、参与性、准确性与有效性等五大原则，其相关要求如下：
（1）合规性原则是指评价活动是否遵循相关制度或规范。国际社会为了确保评价质量，多建立了质量标准或质量检查清单等相关制度与政策，用以指导与规范评价活动。此外，合规性还体现在评价机构是否遵循基本的评价职业道德和行为准则，是否按照相关委托协议或合同开展评价工作；评价报告或摘要格式是否规范等。
（2）适当性原则是指评价方法、数据收集和统计方法等技术层面的相关内容是否适当。绩效评价作为一种重要的科学管理工具，应满足相关的技术标准，即合理的方案设计、适当的数据收集方法、分析方法和评级方法，并据此提出结论和建议，以保证评价结果的客观、公正、权威与可靠。
（3）参与性原则是指利益相关者在整个绩效评价过程中的参与程度。国际社会要求在评价工作各阶段中，为保证信息透明公开，同时兼顾到项目对各方产生的作用与影响，评价机构应与利益相关方保持沟通，并促使他们积极参与评价设计和实施过程，这样方能体现项目真实而全面的价值，同时也能更有效地保证所有利益相关方对评价结果达成共识，避免不必要的误解。
（4）准确性原则是指评价机构利用专业经验进行评价分析的准确程度。在评价工作实际开展过程中，还可能会出现一些现有文件与制度没有明确提及到的质量标准与内容。因此，当其他准则不足以评判评价质量是否达标时，可以利用准确性原则作为评价的质量控制要素，即通过评价小组自身的专业经验，并根据实际情况建立一定的质量标准，以确保评价结果的合理性。
（5）有效性原则是指评价结论与结果的有效程度。评价工作最终目的是改进决策或促进学习，因此，其质量控制的重要内容就是看评价结果能否满足关键利益群体的需求，相关结论可靠、可行，提出的建议具有较强的可操作性，并最好能确定推进改进措施的相关负责部门。
3. 搭建了评价活动不同阶段的评价原则框架
由于国际社会评价活动四阶段具有不同的关键点与质量控制要素，再结合五大原则，可基本形成下列框架：
（1）合规性原则的适用阶段：国际社会评价制度、指南或规范基本覆盖了评价活动的所有阶段。因此，合规性原则适用于所有阶段，亦即要求评价小组在评价过程的每一个阶段都要严格参照委托方的相关要求，确保评价活动的质量。
（2）适当性原则的适用阶段：由于适当性原则主要是指评价技术层面的相关要求，其目的在于要求评价小组在评价实施与报告阶段重视评价方法、数据采集和分析方法的质量，因此在准备阶段与结果应用阶段不适用。
（3）参与性原则的适用阶段：国际社会绩效评价非常关注各利益相关者的参与程度，以确保评价过程和结果的公开性、公平性和可靠性。有的机构甚至要求关键利益者从评价框架设计阶段就直接介入，亦或称为参与式评价。因此，参与性原则也适用于评价活动所有阶段的质量控制。
（4）准确性原则的适用阶段：由于评价活动涉及到复杂的社会科学，因此会出现规范、制度或指南不能覆盖的一些细节，这就需要评价小组以准确性原则为指导，通过自身专业技术、经验和能力，保障评价的质量。
（5）有效性原则的适用阶段：主要用以控制评价结论的质量，因此，一般只适用于报告形成和结果应用这两个阶段。
4. 形成了再评价机制以审核评价质量
国际社会为了更好地审核评价质量，通常还会开展针对组织内部近几年评价工作的过程、结果和结论进行再评价（Meta-evaluation，亦为元评价），以确定信息的准确性与结果的有效性，并从中总结评价工作的经验、问题和建议。
通常，再评价关注焦点主要是三个核心问题，一是近几年的评价工作程序和评价方法的整体质量情况，主要是从评价框架设计、评价数据和评价结果应用等方面进行分析；二是近几年评价报告中所发现的共性问题与经验，特别是在不同主题领域内总结的结论；三是将评价结论用于组织学习的具体建议。
再评价工作一般由评价小组和组织的关键利益者共同组成，在所有评价报告中随机抽取三分之一左右，并尽可能覆盖不同技术领域、地理区域和评价类型，然后开展案卷分析，并对技术团队、管理团队、项目团队等开展半结构化访谈或座谈，以获得评价工作的一手资料。
三、建立全过程的财政支出绩效评价工作质量控制体系
由于国际社会初步形成了评价质量控制的相关经验，在评价活动的不同阶段明确了质量要素及标准，这些相关经验可以对当前我国财政支出绩效评价工作提供一定借鉴，有助于进一步规范和明确相关专业技术内容，并在评价难点和重点关键方面，如建立指标体系、设置评分标准与权重、寻找合适的数据来源、确保数据质量等提供相关质量标准参考，可使得当前财政支出评价结果更具有有效性和可靠性。
根据国际社会评价质量控制经验中总结出来的五大原则：合规性、准确性、适当性、参与性与有效性，以及财政支出绩效评价活动在评价准备阶段、实施阶段、报告阶段和结果应用阶段的主要内容，可建立如下的评价质量控制体系。
（一）准备阶段的质量控制要素
该阶段主要是指预算部门和单位的预算绩效管理制度安排、年度绩效管理工作计划制定、评价中介机构遴选，以及中介机构内部评价制度建立等四个质量控制环节。根据表3，该阶段质量控制原则主要是合规性、参与性与准确性，其质量控制关键要素为：
（1）预算部门预算绩效管理工作制度的合规性、准确性与参与性：所谓合规性，是指预算部门需要按照预算绩效管理有关要求，在单位内部建立相关制度以及成立绩效评价工作小组。同时也要考察部门制度的内容准确性和细化程度，以及部门内业务部门和财务部门的参与性等。
（2）预算部门预算绩效管理年度工作计划的合规性和准确性：预算部门和单位是否按照财政部门有关绩效评价制度与文件的要求，制定详细而明确的预算绩效管理年度工作计划，并且工作计划本身要内容准确，对财政没有提出明确要求的细节进行完善。
（3）预算部门选择第三方评价中介机构的合规性：主要考察预算部门遴选中介机构的方法和过程符合《政府采购法》和财政部门有关绩效评价制度与文件的相关规定；遴选出的中介机构是绩效评价中介库的入库机构，且该中介机构及评价小组成员对财政支出绩效评价工作熟悉，在专业技术与经验方面完全能够满足本项目绩效评价的工作要求等。
（4）中介机构内部绩效评价工作制度的合规性和准确性：合规性是指中介机构按照财政部门有关绩效评价制度与文件要求，建立明确的人员分工、绩效评价工作计划和内部控制制度；另外，中介机构本身的内部绩效评价工作制度在遵循绩效评价有关要求的基础上，还必须保障制度体系建设的准确性。
（二）实施阶段的质量控制要素
绩效评价实施阶段包括中介机构的评价工作方案准备工作、评价工作方案撰写工作、评价工作方案修改工作，以及数据分析与整理等四个环节，即从中介接受评价任务开始，一直持续到评价报告撰写之前。根据表3，该阶段质量控制原则主要是合规性、适当性、参与性、准确性等，其质量控制关键要素为：
（1）工作方案开展前的资料收集准确性、适当性与参与性：为了确保工作方案能够建立较好的指标体系，该阶段质量控制要求对项目进行详尽的前期调研，搜集到足够多的有效资料，对项目概况、预算资金情况、项目管理、绩效目标梳理工作要详细而准确。由于绩效评价强调目标为导向，因此，在正式开展绩效评价工作前，要重点强调对绩效目标内容和标杆值的描述符合项目立项目的，并与预算资金相配套，同时表述正确、无歧义，这为后续指标体系的建立搭建基础。在此过程中，还特别强调预算部门、中介机构、财政部门和部分利益群体的参与性，重要信息要经多方交叉核实后，才能作为后期方案的基础。
（2）工作方案撰写的合规性、准确性与参与性：工作方案是整个绩效评价工作的重要中期产出，因此，方案撰写首先要具备合规性，能够按照财政部门有关绩效评价制度与文件的要求，以及预算部门与中介机构之间的委托协议或合同进行撰写；其次，方案中的关键指标要准确，能够真实、全面地反映项目成败与风险；另外，后期指标数据科学合理，选择适当。在此过程中，为确保评价结果的公正性，方案中的利益相关方描述清晰准确，因此还需要有一定的参与性标准，确保了解各主要利益相关方及职责，以便后期开展访谈或问卷等数据调查。
（3）绩效评价工作方案修改的合规性与参与性：按照预算绩效管理相关工作要求，委托方（可以是财政部门，也可以是预算主管部门）需要对工作方案报告质量进行审查，有条件的还要尽可能召开专家现场评审会，此为合规性；此外，中介机构在方案修改时能够按照专家评审会的意见和建议，同时结合委托方的要求，多方共同参与以完善工作方案。
（4）数据收集整理的合规性、适当性与参与性：此步骤重点考察数据整理的过程无遗漏，能真实反映客观情况，以及数据整理方法科学可行。绩效评价也被称作以证据为支撑、以目标为导向的管理工作，因此数据作为绩效评价过程中的重要证据，其质量控制成为整个绩效评价工作的重点。为确保数据质量，可借鉴OECD的做法，安排数据复审或再评价制度，对数据来源进行确认。如果是访谈或问卷获得的数据，往往会重新抽样，以检查数据可靠性。如果是预算单位一手数据则要进行合理普查或抽样，并与二手数据进行交叉复核；此外，数据调查还需要多方共同参与，从不同角度完善、校验、检查数据的真实性与全面性。
（三）报告阶段的质量控制要素
绩效评价工作的重要产出即为评价报告，因此，对评价报告内容的质量控制则成为核心内容之一。根据表3，五大质量控制原则均适用于该阶段，其质量控制关键要素主要为：
（1）报告结构的合规性：要求绩效评价报告的内容和格式符合财政部门绩效评价制度与文件的相关要求，封面、摘要、正文和附件等内容完整，格式规范，符合政府公文报告的基本要求。
（2）内容摘要的合规性和准确性：摘要是整个评价报告的精华，因此需要重点考察摘要中提炼的结论与正文的结论前后一致性，且都是建立在指标体系与数据支撑的基础上。同时关于项目内容描述、评分评级情况、绩效评价工作情况等都要简明而不失准确。
（3）项目概况描述的合规性与准确性：重点考察报告正文中的项目概况描述是否合规，符合财政部门有关绩效评价制度与文件要求；同时也要考察预算资金来源、资金支出结构、项目及子项目主要内容等信息是否准确，以及项目管理流程与资金拨付流程等表述是否清晰准确等。
（4）评价结论的准确性、适当性与有效性：经过中介提炼的评价结论必须准确，能够真实地反映项目实际情况；另外，评价结论还要有一定的方法适当性，发现的问题与评价指标体系高度相关，并从中总结分析出影响项目绩效目标及预算资金使用绩效的主要因素；此外，给出的建议与发现的问题能够相互呼应，相关措施切实有效，为以后改进项目绩效提供有价值的指导。
（四）结果应用阶段的质量控制要素
绩效评价是绩效管理的工具与手段，因此将评价结果应用于预算单位项目管理和资金管理意义重大。结果应用阶段包括三个质量控制环节：对评价结果的确认、落实问题整改和评价结果公开。根据表3，该阶段适用的原则主要是合规性、准确性、参与性和有效性，其质量控制关键要素主要为：
（1）对评价结果确认的合规性：预算部门和单位需要对评价结果进行确认和报送，此时主要考察对评价结果的确认和报送环节是否合规。
（2）落实问题整改的合规性、准确性和有效性：预算部门和单位需要对绩效评价报告中反映出的问题提出切实的整改措施并加以落实。此环节主要考察落实问题整改时是否准确地与评价结论吻合，整改结果是否有效。
（3）评价结果公开的合规性：根据预算法和财政支出绩效评价的有关要求，评价结果要在一定范围内以一定方式向利益相关者或社会公众公开，因此该环节重点考察公开的合规性。
四、 结 语
为建立更加科学有效的预算绩效管理机制，对预算部门自评价和中介机构开展的第三方评价进行活动与结果的质量控制至关重要。国际机构或西方国家为更好地监督管理评价质量，通常还会组织第三方开展绩效再评价，分析评价工作本身的经济性、效率性与效益性。我国财政支出绩效评价也可借鉴相关经验，在大力推进预算绩效管理工作的同时，持续重视评价质量控制体系，并逐步建立稳定的再评价工作机制，这将有利于更好地满足委托方需求，更好地服务于财政部门、主管部门、评价机构、社会公众，同时也可以更规范地发展绩效评价行业。
参考文献
［1］ Australian Government. Aid ProgramMonitoring and Evaluation Standards. http：//betterevaluation.org/sites/default/files/DFAT%20M&E%20Standards.pdf. 2014.
［2］ OECD. Quality standards fordevelopment evaluation. http：//www.oecd.org/development/evaluation/qualitystandards.pdf. 2010.
［3］ Nara Weigel. META EVALUATION——Aggregating learning fromevaluations and reflecting on opportunities to feed into organisational change.https：//assets.helvetas.org/downloads/metaevaluationexecutivesummary2012.pdf. 2012.
［4］ USAID.USAID EVALUATIONPOLICY.https：//www.usaid.gov/evaluation/policy.2011.
［5］ 财政部预算司. 财政支出绩效评价管理暂行办法.2011.
［6］ 财政部国际财金合作司. 国际金融组织贷款项目绩效评价操作指南［M］. 经济科学出版社，2015.
［7］ 周亦亮. 财政支出绩效评价的质量控制研究［J］. 浙江万里学院学报，2013 （7）：6-9.
作者简介：
赵 敏，管理学博士，上海国家会计学院（亚太财经与发展学院）副教授，应用经济研究所所长。
王 蕾，经济学博士，上海国家会计学院（亚太财经与发展学院）讲师。