出版社信息化评估指标体系研究

王  亮  姜思思

（北京印刷学院）

摘要：本文对在分析国内外企业信息化方案的基础上，结合出版行业特点，以北京市8家出版社为调研对象，有针对性地提出出版社信息化效能指标的设计思路，并初步拟定一套以信息化实效为评价目标的效能评价指标，形成对出版社信息化实效的定量分析结论。

关键词：出版社；信息化；信息化评估指标体系

一、概述

（一）我国出版行业信息化现状

我国企业信息化总体应用水平较低，而出版行业信息化起步不及制造业等传统行业早，信息化投入力度也相对不足。

从企业信息化进程看，出版社信息系统建设水平处于一般事务处理和简单信息管理阶段，呈现“信息孤岛”现象严重、资源不能真正实现全面共享、信息化建设综合优势发挥不出来。

从系统应用和网络增值服务看：除发行、财务管理系统应用较好外，其它信息系统应用效果不好，与国内其它行业、国外出版行业的水平有相当差距；信息化公共配套环境还没有形成，各出版单位各自为战，信息化缺乏体系。

虽然大多数出版社已经连接互联网，但除极少数大型有经济实力的出版社引进信息系统应用于全面管理，其它大多数仅在网上开设了以宣传为主导的网站。既没有充分利用网络资源，又没有借助网络开展商务活动。有的企业网站长时间不更新信息，成为有名无实的空站。相比之下，美国出版行业有80%以上已借助互联网广泛开展商务活动。

经过调研和分析，造成出版社和信息化的现状的主要原因并非意识原因，绝大多数出版社已经意识到信息化手段能够给整个业务流程带来的益处。但是全面信息化的巨大风险成为阻碍很多出版社实施信息化的最大障碍。因此，能否围绕建设有效益的信息化这一目标，来设计信息化指标体系，关系到我国出版社信息化建设的导向。为此，需要设计专门使用于出版行业的效能指标，以弥补通用企业信息化指标体系中对出版社信息化投入与产出关系的直线式理解带来的偏差。

（二）信息化指标体系的研究基础

企业信息化在我国兴起的时间虽然不长，但有关指标体系的研究，已经同步发展起来。

我国国家信息产业部、原国家经贸委、国家科技部等部委，先后进行了企业信息化指标体系的课题研究，企业和专家也进行了大量研究。其中成果包括：龚炳铮《企业信息化指标体系》、联和运通顾问公司《企业互联网应用水平调研指标体系设计（征求意见稿）》、联和运通顾问公司《企业信息化指标构成方案表》、联和运通顾问公司《企业互联网应用水平调查问卷》、解树江《虚拟企业》、曹崇延、王淮学《企业技术创新能力评价指标体系研究》、中国企业联合会课题组《企业竞争力指标体系的开发与应用》、北京大学网络经济研究中心《如何评测企业实施电子商务的真正价值》、《中国人力资源开发》杂志社、北京博思智联管理顾问公司行业研究中心“中国企业人力资源管理现状调查”、黄津孚《企业效益的投入产出分析》、刘现军、罗荣桂、王志凌《经济增长方式转变的标准与指标体系》、汤发良《我国企业内部冲突状态的评价测度模型》、郑英隆《现代企业的信息经济性分析》、包昌火谢新洲主编《竞争情报与企业竞争力》等。

国外研究包括：韩国政府支持的企业信息化指标体系、世界银行环境局《护展衡量财富的手段——环境可持续发展的指标》、思科公司《网络就绪》计划、《互联网经济指标》、Meta集团《全球新电子经济指数》、肯.巴斯金《公司DNA——来自生物的启示》、托马斯.巴克霍尔兹《明天的面孔》、大卫.威勒、玛丽亚.西兰琶《利益相关者公司》、戴布拉和艾米顿的《知识经济的创新战略》、罗布和戈菲《如何度量和重塑企业文化》、尼克.海伊斯的《协作制胜》等。

2002年国家信息化测评中心研究提出了中国企业信息化指标体系构成方案，并在科技部中国制造业信息化指数研究项目中，对4000多家企业进行了实际测算，发布了中国制造业信息化指数。

（三）本文研究的主要内容

本文旨在结合出版行业特点，以北京市出版社为调研对象，建设一套以信息化实效为评价目标的效能评价指标，形成对出版社信息化实效的定量分析结论，并根据指标体系编制调查问卷，调研北京市若干家信息化领先的出版社，将调查结果代入初步指标体系进行验证修改，螺旋式深入细节。通过信息化成功实施的出版单位，进行统一规范、集成，简化商务运作和财务管理流程，清理规范业务流程，使企业运作效能得到的巨大改善，与未经信息化的出版社经营效益对比之差异，提高业内对信息化建设的重视程度，借用并提出一系列应用于出版行业的指标来量化“信息化”这一抽象概念，有助于信息化“后掘”企业有针对性地进行效仿，从领导、战略、应用、效益、人力资源、信息安全等多个方面进行信息化探索。

出版社信息化指标体系由信息化基本指标和补充指标两部分构成。出版社信息化基本指标由基础建设、应用状况、人力资源、安全和效益指数5个一级指标构成。出版社信息化补充指标由适宜度和灵敏度两大类指标构成。适宜度指标包括：战略适宜度、投资适宜度、应用适宜度、管理运行适宜度、资源匹配适宜度和组织与文化适宜度。灵敏度指标包括：信息灵敏度、创新灵敏度和对外反应灵敏度。

出版社信息化基本指标是反映信息化基本情况的统计调查指标，可以形成对出版社信息化基本发展状况的标准化客观定量分析结论。出版社信息化补充指标是在出版社信息化基本指标基础上，结合出版行业特点，以标杆库和标杆值为参照，以信息化实效为评价目标的效能评价指标，形成对出版社信息化实效的定量分析结论。补充指标设置目的是要求企业信息化配合企业总体战略，讲求实效，避免浪费。相对于基本指标，补充指标的主观性较强，信息化补充指标与基本指标相互联系又相对独立。

二、出版社信息化评估指标体系

（一）出版社信息化评估指标体系设计思路

出版社信息化指标体系由出版社信息化基本指标和补充指标两部分构成。信息化基本指标根据指标加权获得无量纲化总指数，反映信息化基本情况，形成信息化成果的标准化客观定量分析结论。出版社信息化补充指标是在出版社信息化基本指标基础上，结合出版行业特点，以标杆库和标杆值为参照，以信息化实效为评价目标的效能评价指标，形成对出版社信息化实效的定量分析结论。

出版社信息化基本指标由基础建设、应用状况、人力资源、安全和效益指数5个一级指标构成，细分为21个二级指标。

出版社信息化补充指标由适宜度和灵敏度两大类指标构成。适宜度指标包括：战略适宜度、投资适宜度、应用适宜度、管理运行适宜度、资源匹配适宜度和组织与文化适宜度6个一级指标。灵敏度指标包括：信息灵敏度、创新灵敏度和对外反应灵敏度。补充指标共由20种信息系统应用效果来体现，并用分数等级描述信息化建设程度。

本方案的设置原则主要包括：

1.目的性：出版行业信息化指标体系的设计，从“以信息化带动工业化”的战略任务出发，旨在引导企业信息化建立在有效益、务实、统筹规划的基础上。指标体系为政府了解企业信息化应用情况和进行相关决策服务，为企业提高信息化水平服务，从领导、战略、应用、效益、人力资源、信息安全等多个方面，引导中国出版行业信息化健康发展。

2.简约性：尽量选取较少的指标反映较全面的情况，为此，所选指标要具有一定的综合性，指标之间的逻辑关联要强。

3.可操作性：所选取的指标应该尽量与企业现有数据衔接，必要的新指标应定义明确，便于数据采集。

4.可延续性：所设计的指标体系不仅可在时间上延续，而且可以在内容上拓展。

（二）出版社信息化评估基本指标体系

出版社信息化评估基本指标体系如表1：

表1  出版社信息化评估基本指标体系

基本指标的计算方法及评分标准如下，每一指标总分最高为100分。

1.信息化投入总额占固定资产投资比重（%）

信息化投入总额的计算口径包含软件、硬件、网络、信息化培训、聘用专业IT技术人员发生的直接费用、通讯设备、维护费用投入。企业成立时间少于3年的，可以按照实际成立时间计算。

20%以下得20分，20%～40%之间得30分，40%～60%之间得50分，60%～80%之间得70分，80%以上得100分。

2.计算机拥有量（台）

计算机拥有量的计算口径为：能够正常运转的大、中、小型机以及服务器和工作站，并包括主频在75MHz（含）以上的PC机。

50台以下 得 20分，50～100台之间得30分，100～150台之间得40分，150～200台之间得50分，200～300台之间得70分，300台以上之间得100分。

3.网络性能水平（分）

计算口径为：企业网络的出口带宽小于128K（含）得30分，在128K和512K（含）之间得50分，在512K和2M（含）之间得70分，在2M和10M（含）之间得80分，在10M和100M（含）之间得90分，在100M以上得100分。

通过调制解调器（ISDN）和普通电话上网，带宽在128K（含）以下，即使可以同时开辟多个联接通道，得分依然按30分计。

4.计算机联网率（%）

计算机的统计口径与指标3相同。

20%以下得20分，20%～40%之间得30分，40%～60%之间得50分，60%～80%之间得70分，80%以上得100分。

5.信息技术相关的资产价值

信息技术资产包括计算机硬件、软件、网络和通讯设备等。

50万元以下得 20分，50～100万元之间得30分，100～300万元之间得50分，300～500万元之间得70分，500～1000万元之间得90分，1000万元以上得100分。

6.信息采集的信息化手段覆盖率（%）

企业在进行政策法规、市场、销售、技术、管理、人力资源等6个领域的信息采集时，信息化手段占有重要位置的，每覆盖一个领域得16分，全部覆盖，得100分。

7.办公自动化系统功能（分）

如果没有建立基于Intranet/Extranet的企业网，得0分。

在具备基于Intranet/Extranet的企业网的基础上，实现信息流程的跟踪与监控的得5分，实现面向外部的电子公文交换的得5分，每实现一个其它功能（见下列举）得1分，总分乘以3.85,满分为100分。

其它功能包括：文档共享、收文管理、发文管理、会议管理、签报管理、周报（月报）管理、信息集成、信息发布、业务讨论、电子邮件、个人数据管理、档案管理、人力资源管理、固定资产管理，日程安排、决策支持（具备数据库、模型库和方法库）等。

8.办公自动化系统应用水平（分）

本指标为定性考核指标，初级水平为50分，中级水平为80分，高级水平为100分。级别划分标准如下：

（1）初级水平：部分实现了办公自动化。

（2）中级水平：办公自动化覆盖了80%以上的日常办公业务。

（3）高级水平：全部实现办公自动化。

9.决策信息化水平（分）

本指标为定性考核指标，初级水平为50分，中级水平为80分，高级水平为100分。级别划分标准如下：

（1）初级水平：通过信息资源的开发利用，能为企业决策提供初步支持。

（2）中级水平：能开展数据分析处理，对各种决策方案进行优选，为企业决策提供有力的辅助支持。

（3）高级水平：采用人工智能专家系统，进入管理决策智能化。

10.    核心业务流程信息化水平

本指标为综合考核指标，初级水平为50分，中级水平为80分，高级水平为100分。级别划分标准如下：

（1）初级水平：信息化覆盖部分主要业务流程，业务流程自身及业务流程之间的信息流通不畅，在主要业务流程方面存在比较严重的信息孤岛现象。

（2）中级水平：信息化覆盖80%以上的主要业务流程，并能实现及时充分的数据共享。

（3）高级水平：主要业务流程全部实现最优控制。

11.    企业门户网站建设水平（分）

网站建设水平计分方法见下表。

12.    网络营销应用率（%）

经电子商务产生的销售额/采购额占总销售额/采购额的比例。

计算口径：以下两点满足其一，即认为是经电子商务产生的销售额/采购额。

（1）线上沟通并达成交易

（2）采取在线支付方式

网络营销应用率=网上采购率×50＋网上销售率×50

计分方法：20%以下得20分，20%～40%之间得30分，40%～60%之间得50分，60%～80%之间得70分，80%以上得100分。

13.    管理信息化的应用水平（分）

（1）管理信息化的应用覆盖率

管理信息化的应用领域包括：编务管理、发行管理、印制管理、财务管理、人事管理、办公自动化、出版社ERP系统、决策支持系统、主管（社长）信息系统和电子商务系统等。计分方法：覆盖1项加10分。

（2）管理信息化的数据整合水平

计分方法：以下数据库，有2个实现共享为2分，3个实现共享为3分，依次类推；结果乘以11。

数据库包括：财务、购销存、客户关系、人力资源管理、商业智能、电子商务、编务、印制、发行等。

指标总分为两项指标分数相加。

14.    信息系统建设总投资

建设总投资包括计算机硬件、软件、网络设施和开发费用等。

50万元以下得20分，50～100万元之间得30分，100～300万元之间得50分，300～500万元之间得70分，500万元以上得100分。

15.    信息系统每年运行费用

信息系统的运行费用包含网站的年运行费用，具体包括软件和硬件的升级、维护费用，人员经费及相关的培训支出、服务器托管费用等。

20万元以下得 20分，20～40万元之间得30分，40～60万元之间得50分，60～80万元之间得70分，80～100万元之间得90分，100万元以上得100分。

16.    人力资源指数（分）

掌握专业IT应用技术的员工本科以上学历的比例（包括信息化管理人员、开发人员、维护人员）。计分方法：

该比例小于50%，得50分，50%～80%，得80分，80%以上，得100分。

17.    信息化技能普及率（分）

管理非专业IT人员的信息化培训覆盖率，统计口径为：管理层包含高层管理者、中层管理者和基层管理者，需接受过2小时以上的正式培训，方可进入培训覆盖的范围。计分方法：

20%以下得20分，20%～40%之间得30分，40%～60%之间得50分，60%～80%之间得70分，80%以上得100分。

18.    学习的电子化水平（分）

（1）电子化学习的员工覆盖率，计分方法：

正式参与企业组织的电子化学习项目员工数/企业全部员工数*50

（2）电子化学习中，可供选择的学习领域的覆盖率，计分方法，以下各选项有1项加1分，总分乘以7.2，满分50分。

电子化可供选项包括：管理、营销、财务、企业文化等、生产及工作技术、技能、规章制度等。指标总分为两项指标分数相加。

19.    用于信息安全的费用占全部信息化投入的比例（%）

计算口径：用于信息安全的费用包含安全软件、安全硬件、信息安全培训、信息安全人力资源支出。指标分值计算方法：

该比例大于30%，得100分，20%～30%，得90分，15%～20%，得80分，10%～15%，得70分，5%～10%，得50分，5%以下，得20分。

20.    信息化安全措施应用率（%）

本指标计分方法：防病毒软件、防火墙均得2分，每采取一个其它安全措施，加1分，结果乘以7.8,满分100分。其它安全措施包括： 

（1）防病毒软件

（2）防火墙

（3）数字加密

（4）身份认证/识别

（5）防入侵检测

（6）定期检测

（7）网站自动恢复系统

（8）使用代理服务器

（9）使用数据备份系统

（10）拥有2个（含）以上的ISP  建立了虚拟专用网

（11）档案服务器、网络服务器、防火墙等网络流量相关设备有备份

21.    库存资金占用率（%）

数据采集的跨度不得超过3年。

库存资金占用率=库存平均占用的资金/全部流动资金

库存资金占用率降低率=（信息化实施前库存资金占用率–信息化实施后库存资金占用率） / 信息化实施前库存资金占用率

指标分值：库存资金占用率降低80%以上得100分，降低60%以上得70分，降低50%以上得50分，降低20%以上得30分，降低20%以下得20分

22.    资金运转效率（次/年）

数据采集的跨度不得超过3年。

企业流动资金每年的周转次数增长幅度=信息化实施后企业流动资金每年的财周转次数 / 信息化实施前企业流动资金每年的周转次数

指标分值：企业流动资金每年的周转次数是原来的5倍以上得100分，3～5倍得80分，2～3倍得60分，1～2倍得20分。

23.    企业财务决算速度（日）

此项指标考察企业实现一次完整的虚拟财务决算所需要的时间。

指标得分计算方法：实现24小时以内完成决算为100分；1日至10日为80分；10日至20日为60分；20至30日为30分，30日以上为0分

（三）出版社信息化评估效能指标体系

2002年10月9日，国家信息化测评中心研究提出了企业信息化效能指标，广泛征求意见。企业信息化效能指标作为配合信息产业部信息化推进司提出的企业信息化基本指标的补充指标，解决了一个关键问题——为有效益的信息化，提供一个基准体系。在此前各种企业信息化指标体系中，存在如出一辙的共同问题：信息化投入与信息化产出，在结果上一定成正比。即投入越多，信息化水平显得越高。哪怕投入全是浪费，评价结果仍然是正面的。这就与建设“有效益的信息化”的正确导向，产生了严重背离。导致各种指标体系导向偏差的共同原因，是在信息化投入与产出间，没有建立效能基准体系，来“过滤”不良投入，“提纯”有效投入。企业信息化效能指标，就是专为提高信息化投入效果而设计的“准星”系统，目的在于让信息化对企业产生实实在在的效益。可以说，企业信息化效能指标，是反映和评价企业信息化实效的一套评价指标体系。出版社信息化评估效能指标体系如表2：

表2  出版社信息化评估效能指标体系

出版社信息化评估效能指标体系的计算方法和评分标准如下：由问卷被调查人（一般是出版社信息中心主管）根据本单位的情况，对以下20列信息系统应用效果的描述进行打分，5分表示效果最好，1分表示效果最不好，总分100分。

三、出版社信息化评估指标体系的验证

（一）基本指标体系的权重设置

权重也称权数，是指对测量对象的不同属性进行权衡比较时的一种量上的区分判断，也是对测量对象所属的各种要素的影响程度做出的量化限定。权重是一个相对的概念，是针对某一指标而言。某一指标的权重是指该指标在整体评价中的相对重要程度。确定权重的方法一般是在指标体系建立之后进行分配或同时进行。权重表示在评价过程中，是被评价对象的不同侧面的重要程度的定量分配，对各评价因子在总体评价中的作用进行区别对待。事实上，没有重点的评价就不算是客观的评价，每个人员的性质和所处的层次不同，其工作的重点也肯定是不能一样的。因此，相对工作所进行的业绩考评必须对不同内容对目标贡献的重要程度做出估计，即权重的确定。

确定权数的过程称为加权，其数值准确与否将直接影响评价结果的客观性和可比性。因此，权重不能随意而定，必须运用一定的方法，融合经验和理论，在反复论证的基础上方可求得。在评价研究中，常常根据评测的系统、对象、目的、时间和角度，对不同的指标指派不同的比例系数，即构成权重。相同指标的权重也因系统不同而发生变化。

本文在确定权重是，尽可能地遵循了以下原则：

（1）系统性原则；

（2）客观性原则；

（3）导向性原则；

（4）可测性原则。

根据以上原则，确定了出版社信息化评估指标体系基本指标权重设置，如表3：

表3  出版社信息化评估指标体系基本指标权重表

（二）出版社信息化综合指数计算方法

按以上指标权重分配及计分方法，计算得出版社信息化评估基本指标得分及效能指标得分后，基本指标给以40%的权重，效能指标给以60%的权重，加权结果即为信息化综合指数。我们在北京市选择了几家出版社作为验证对象（见表4），综合指数得分及排名情况见表5：

表4  北京市出版社评估试点情况一览表

表5  评估出版单位信息化指标综合指数得分及排名情况

根据综合指数排名结果，除经济管理出版社信息化效能指标得分偏高——85分，致使总分偏高，排名跃至第三——超过机械工业出版社。其他排名基本符合业内对出版社信息化建设情况的评价。而且像机械工业、电子工业、科学出版社，分值相差在零点几分至1分左右，悬殊无几。这几个社相比，到底哪个社信息化做的更好，信息系统应用最有效，可能无法做出确切的排名，每一个社都有他的“招牌菜”——信息化应用的更突出的方面。而且也无法排除出版社自己员工对自己社里情况的主管判断——尽管从一个调查人员的角度上看，各大出版社的主管和工作人员对此次调研的展开给予了极大的支持：填写问卷过程很认真、细致，对问卷中描述理解有不清晰、确定的，都仔细询问过我以后才做出慎重的选择。

其次，比如第三大题信息系统的使用情况中，很多都是信息系统对财务、人事多方面的辅助效果测试，仅仅是人事部门或财务部门，不可能有这方面的统计，显而易见，他们不可能知道最近的财务情况有好转到底是上了信息系统带来的效益，还是由于市场部的某项运作措施带来的效益。

另外，据出版社的被调查者的意见，有些可能涉及到技术参数机密和商业机密的题就很可能无法得到客观的回答——这样我们回首问卷的真实性不可避免的要打点折扣——这也是可以理解的。

综上，我认为这次调研结果大体反映出版社信息化建设和使用情况，基本符合事实，具有一定的科学性和可比性。

参考文献：

1．国家信息化测评中心.中国企业信息化指标体系，2002.10

2．中国企业联合会课题组.企业竞争力指标体系的开发与应用,2005:28

3．解树江.虚拟企业理论分析、运行机制与发展战略.北京:经济管理出版社,2002:63

4．黄津孚.企业效益的投入产出分析.企业管理，2001，4(3):46-48

5． 侯伦,唐小我. 企业信息化及其指标体系探讨[J].电子科技大学学报(社会科学版) , 2001,(03)

6．王慧明,齐二石,王慧敏. 面向制造企业的信息化评价方法[J].中国工程科学, 2004,(08)

7．张海涛,靖继鹏. 信息化企业内涵及其结构研究[J].情报科学, 2004,(06)

8．金勇. 企业信息化评价体系的研究[J].武汉理工大学学报, 2002,(09)

9．张玉峰,徐敏刚,陈观发. 企业信息化模型研究[J].中国软科学, 1999,(12)

10．张佳. 企业信息化成熟度及其影响因素研究[D].吉林大学, 2006

11．时聪. 我国连锁零售企业信息化指标体系研究[D].山东大学, 2006

12．张扬勇. 我国电力企业信息化及其水平评价研究[D].福州大学, 2006

13．洪新华. 企业信息体系及其构建研究[D].暨南大学，2004 

14．张勇刚，周明. 企业信息化测度综合指数模型设计[J].重庆大学学报(自然科学版) , 2005，(10)

15．邱长波,施梦,张佳. 企业信息化关键影响因素的典型相关分析[J].吉林大学学报(信息科学版)，2006，(05)

16． 谢新洲. 论我国企业信息化与信息环境优化[J].北京大学学报(哲学社会科学版) , 2000，(05)

17．张勇刚,汤方梅. 一种新的企业信息化水平测度方法——三维立体企业信息化测度理论与方法研究[J].重庆工学院学报，2005，(12)

18．侯伦，唐小我. 企业信息化及其指标体系探讨[J].电子科技大学学报(社会科学版)， 2001，(03)

19．王慧明，齐二石，王慧敏. 面向制造企业的信息化评价方法[J].中国工程科学，2004，(08)

20．宋荣兴. 企业信息化建设的思考[J].商业研究，2002,(12)

21．乌家培. 关于推进企业信息化的思考[J].经济经纬，1999，(04)

22．何有世，徐文芹. 因子分析法在工业企业经济效益综合评价中的应用[J].数理统计与管理, 2003，(01)

23．肖宏文，黄瑞华. 网络时代地区信息化的测度及信息化评估模型的建立[J].情报科学, 2001,(11)

24．张海涛，靖继鹏. 信息化企业内涵及其结构研究[J].情报科学，2004，(06)

25．金勇. 企业信息化评价体系的研究[J].武汉理工大学学报, 2002，(09)

26.Wang Zanshi. An Analysis with Framework on Ideas in EnterpriseInformatization. Proceedings of 2005 International Conference on Innovation & Management, International Conference on Innovation & Management, 20051029-30; Wuhan(CN),2005:815-818

27.Tang Taize. TALK ABOUT ENTERPRISE'S INFORMATIZATION AND ELECTRONIC COMMERCE. Modern Industrial Engineering and Innovation in EnterpriseManagement, 2006(2): 1521-1527

（本文在撰写过程中得到了机械工业出版社、经济管理出版社、学苑出版社、外语教学与研究出版社、清华大学出版社、北京出版社、电子工业出版社、科学出版社（排名不分先后）的领导和老师们的大力支持，在此表示真诚的感谢。）

Publishing house informationization appraisal indicator system research

Wang Liang & Jiang Sisi

（Beijing Institute of Graphic Communication）

Abstract:Based on the analysis of domestic and foreign enterprise informationization plan, this article proposed target-oriented mentality of the informationization appraisal indicator system of the publishing house,which taked eight publishing houses as investigation and study object in Beijing.

This article draws up a set of evaluating indicator which takes informationization actual effect as appraisal goal,and forms the quantitative analysis conclusion in view of publishing house informationization actual effect.

Keywords:publishing house; informationization; informationization appraisal indicator system