该帖子同步发自:(24hours的博客 访问该博客) 文档评审的度量
做过CMMI 的企业,肯定都知道MA process, 它是 level 2 的一个 PA. 对于这个PA, 单纯从认证的角度,还是比较容易得分的,我们可以度量 schedule, effort, cost, test bug等等,而且随着 CMMI执行的深入,可以丰富更多的度量项。对于MA, measurement and analysis, measurement 是去有意识收集目标数据,analysis 是在收集数据的基础上,采用不同统计方法,得出分析的结论。如何对原始数据进行分析,这是很重要的,不同的公司会有不同的做法,这也是体现 MA 做的好坏的地方。MA 为达到更高CMMI level 提供了数据基础,作为level 3组织过程资产的一部分,为level 4实现稳定的过程能力,预测某一过程执行的结果范围提供了可能。
如前所提,我们可以定义很多的度量项,这里仅想讨论一下关于文档评审的度量分析, 即 Document Review quality. 作为一个QA, 肯定会经常组织一些文档的评审,需求评审,各种设计评审,测试报告评审,手册评审等等。一个正式的评审,一般过程简单来说是这样:
(1)QA得到review document, 初步检查,确定review participants 和 时间,发出review invitation, 评审文档附在其中;(2)reviewer 对文档进行检查,将评审意见按要求格式反馈给 QA, QA统一整理所有意见;(3)正式评审会议:对评审意见进行讨论解答,作者有可能会对文档逐步讲解,确定是否需要再次召开评审会议;(4)作者修改文档,QA对评审意见整改情况进行跟踪;(5)文档最终检查,释放。
在这个过程中,S 公司会收集若干数据,并通过几个主要指标来分析评审的有效性。
收集数据:review plan date/actual date;评审会前准备时间;会前反馈意见数目;最终接受意见数目;会前会上所有意见总数目;文档大小(页数);邀请人员数;会前有反馈的人员数;
几个评审度量指标:
1、评审时间差异:与项目原计划评审时间比较,看计划制定的精确性,分析大的差异原因;
2、评审反馈率:被邀请的人员提前反馈的比率,如果比率很低,说明很少有人提前准备,QA可延后评审会;
3、评审准备质量指标:会前反馈意见数/会前准备时间,意为 单位时间的意见数。我们不能单纯的理解为该值越高越好,需要结合另几个指标一起看;
4、评审意见接受质量:接受的评审意见/总的评审意见,可看出 reviewer 提出评审意见的质量;
5、文档质量:总评审意见数/文档页数,意为 单页上有多少评审意见。如果该值很高的话,说明文档需要改进的地方很多;如果值很小的话,却不能说文档质量很好,也可能是有些问题没发现,评审的有效性不高;
后三个指标需要结合起来一起看,不能割裂开来。那么如何说是好是坏呢?判断的基准是什么?
过了CMMI level 3 的企业或多或少都会有自己的组织资产库,都会有一些积累的组织数据。针对前面的问题,比较的基准就是组织的整体评审水平,每个指标都有组织级的数据相对应,而组织级的每个指标值是在大量的项目级数据的基础上,通过统计方法得出的。
由此,我们可知评审的度量,分项目级和组织级。项目级可从项目的层面,与组织的review level相比较,看出项目的评审水平;组织级可看出整个组织的评审水平。那么,有一个问题:如何从组织级的指标看出整个组织的评审水平呢?由于上面指标定义的原因,我们不能单纯的说某指标越高越好,或越低越好。并且不同的组织,定义的指标会不同,所以很难与其他的组织相比较。那么我们怎么判断目前组织级的几个指标值是好是坏呢?在指标3和5目前的定义下,我也不知道怎么回答这个问题。
有一点可以肯定:随着项目评审数据积累的越来越多,组织级指标也越来越能真实反映组织的评审水平。如果几个组织级指标值逐渐趋于稳定,那么我们可以知道组织评审能力也基本稳定,在一个新的评审还未发生之前,就可以预测它的几个指标值的范围了,那时就可只针对超出范围的具体case 做具体分析。
CMMI只简单告诉我们做什么,却没说具体怎么做。文档的评审度量,各个公司都有自己的做法,希望能抛砖引玉,吸取到更好的实践应用。
|