商务附件2-中国移动北京公司网络外包测试考核办法

中国移动通信集团北京有限公司

<保密级别：内部文档>

网络测试外包服务工作考核

办法

【中国移动通信集团北京有限公司网络质量管理体系文件】

文档关键字：外包测试 发布日期：2011-1-31 实施日期：2011-2-1

网络优化中心

目录：

1.

文档信息 ................................................................................................................................... 1 1.1. 修改记录 ....................................................................................................................... 1 1.2. 文档审批记录 ............................................................................................................... 1 1.3. 分发 ............................................................................................................................... 1 目的 ........................................................................................................................................... 1 适用范围 ................................................................................................................................... 1 职责 ........................................................................................................................................... 2 相关文件 ................................................................................................................................... 2 外包测试服务工作管理及考核办法 ....................................................................................... 2 6.1. 外包测试规范 ............................................................................................................... 2 6.2. 针对厂家的考核 ........................................................................................................... 2

6.2.1. 针对城区DT/郊区DT/铁路高速测试 ............................... 错误!未定义书签。 6.2.2. 针对城区CQT/郊区CQT .................................................................................. 2 6.2.3. 针对WLAN测试/投诉测试/宏蜂窝新改扩测试/日间夜间调整测试 .......... 5 6.2.4. 考核与支付比例如下： ................................................................................... 8 6.3. 针对需求部门的考核 ................................................................................................. 11

6.3.1. 针对区域中心 ................................................................................................. 11 6.3.2. 针对无线网络服务管理中心 ......................................................................... 12 6.3.3. 针对无线网络质量管理中心 ......................................................................... 13

2. 3. 4. 5. 6.

1

网络优化中心

1. 文档信息

1.1. 修改记录

版本 1．0 修改日期 修改单号 修改章节及内容 说明：文档首次发布时版本为1.0，修改日期即发布日期，修改单号及修改章节及内容空白； “修改单号”为文档的修改单编号；

“修改章节及内容”说明本次修改的页码、或页码区间，简述修改的内容

1.2. 文档审批记录

版本 文档拟稿部门 批文编号 文档审批日期 1.3. 分发

网络优化中心各三级部门及外包测试厂家。

2. 目的

为了便于严格管理测试服务厂家及网络优化中心对测试服务厂家

的考核情况，现制定外包测试服务工作管理及考核办法。

3. 适用范围

本办法适用于网络优化中心各测试需求部门。

7

网络优化中心

4. 职责

网络优化中心业务部负责本文档维护和修订，定期组织相关部门对文档的可执行性进行评估；

网络优化中心各三级部门负责相关办法的执行。

5. 相关文件

《2011年网络优化中心外包测试规范》

6. 外包测试服务工作管理及考核办法

6.1. 外包测试规范

参见《2011年网络优化中心外包测试规范》

6.2. 针对厂家的考核

6.2.1. 针对城区CQT/郊区CQT

基础管理

1) 测试数据反馈及时性：根据测试内容不同按照需求部门要求及时上报测试数据，未按时要求及时上报的，发现一次扣1分。

2) 当月测试完成率：根据各需求部门月初的测试计划按时完成当月测试工作，未能完成当月工作内容，此项不得

7

网络优化中心

分。

3) 人员流动性：与参加比选时期封存人员名单进行比较，具体参与项目的人员月底由需求部门上报人员名单，通过匹配程度（具体参与项目人员名单/参加比选人员能力考试名单*100%）考察流动性，得分为计算得出的匹配度*10。

4) 数据真实性：所有CQT测试地点，均提供测试当天测试地点的图片及视频，以确认具体测试位置信息；另外，针对厂家提供的测试进行抽检（10%），测试需求部门通过定位或数据核查等多种手段对测试数据的10%进行真实核查。如发现测试数据不真实，发现一次扣2分。 5) 数据完整性：针对厂家提供的测试进行抽检（20%），测试需求部门通过核查等多种手段对测试数据的20%进行核对，要求每个测试点都准确测试，满足需求。如发现测试数据不完整，发现一次扣5分。

测试数据有效性

1) 测试能否满足需求：测试厂家按照测试要求和规范提供现场测试服务，在规定地点按照规定测试方案开展测试；现场发现测试问题后，第一时间与区域中心人员联系进行现场问题排障解决。未按照测试要求及测试规范开展测试，出现一次扣2分；发现测试问题，未及时与区域中心优化人员联系解决，出现一次扣2分。

7

网络优化中心

2) 测试报告完善：要求测试厂家按周、月针对所测试的项目向质管提供周、月报，内容包含整体测试情况、问题呈现、劣势问题分析、问题定位及解决情况。根据质管中心及区域中心对测试报告的要求来进行考核，若所有项目都完备，该项得满分。若报告中分析深度，问题定位不足，每一项内容扣2分。

3) 测试支撑情况：主要是各部门对厂家提供服务的主观感受（包含人力配置能否满足需求，提出问题是否为解决用户投诉带来帮助，测试报告中的原因分析是否到位等）从需求部门平时使用厂家外包测试服务的主观感知出发，进行评分，不做量化。

投诉考核（零起点扣分制）

此项为否决项，若乙方出现因未及时处理的故障，或本应在测试、日常工作中发现的隐患没能及时发现等，造成该基站覆盖范围内集中投诉的情况，将追加进行扣分，扣分可依照每同一地点同一天出现5件扣除10分的标准进行考核。

安全事故追加扣分项（零起点扣分制）

此项为否决项，若乙方出现人为疏忽、未按照规定流程操作等情况对自身及甲方造成重大故障及恶劣影响的，。根据情节采取零起点不少于10分扣分制，上不封顶，直接记入总考评成绩。

其他扣分项

7

网络优化中心

1) 拒不服从中国移动北京公司公司管理和调度，情节严重。

2) 由于处理不当造成互联互通工作重大影响。 3) 没有遵守保密规定，将网络信息透露给第三方。 4) 测试外包人员流失比例超过20%。

5) 以上内容根据实际情况在年度考核中酌情扣分，情节一般者扣除10分，情节严重并造成重大影响或损失者，加倍扣分直至取消年度考核分数。

加分项目

1) 以自然月为单位，对测试公司的工作情况进行评估，对评分前两位的给予加分，第一名加2分，第二名加1分；

2) 总结并提出外包测试中发现的问题和解决办法，具有一定的推广价值的，同时提供有价值信息，对网络优化及网络质量提升做出突出贡献。一次加5分； 3) 积极开展技术创新和管理创新工作，并取得一定的成果的，一次加2分；

4)

主动发现或处理重大投诉隐患，避免集中投诉的发生的，一次加2分；

5)

在重大通信保障工作或应急突发事件中表现突出的，一次加2分。

6.2.2. 针对WLAN测试/投诉测试/宏蜂窝新改扩测试/日间夜

7

网络优化中心

间调整测试

基础管理

1、测试数据反馈及时性：根据测试内容不同按照需求部门要求及时上报测试数据，未按时要求及时上报的，发现一次扣1分。

2、当月测试完成率：根据各需求部门月初的测试计划按时完成当月测试工作，未能完成当月工作内容，此项不得分。 3、人员流动性：与参加比选时期封存人员名单进行比较，具体参与项目的人员月底由需求部门上报人员名单，通过匹配程度（具体参与项目人员名单/参加比选人员能力考试名单*100%）考察流动性，得分为计算得出的匹配度*10。 4、数据真实性：针对厂家提供的测试进行抽检（10%），测试需求部门通过定位或数据核查等多种手段对测试数据的10%进行真实核查。如发现测试数据不真实，发现一次扣2分。除国道高速铁路及夜间调整测试外，其余测试均要求厂家反馈现场图片及视频，如没有视频及图片或者视频及图片与现场实际情况不相符，发现一次扣2分。

5、数据完整性：针对厂家提供的测试进行抽检（10%），测试需求部门通过核查等多种手段对测试数据的10%进行核对，要求每个测试点都准确测试，满足需求。如发现测试数据不完整，发现一次扣5分。

测试数据有效性

1、测试报告完善：要求测试厂家每周针对所测试的项目向

7

网络优化中心

测试需求部门提供周报告，内容包含问题呈现、问题分析及初步定位。根据各个测试需求部门对测试报告的要求来考核，若所有项目都完备，该项得满分。缺少一项内容扣5分。 2、测试能否满足需求：要求测试厂家提供的测试服务能满足各需求部门的需求，主要是各部门对厂家提供服务的主观感受。从需求部门平时使用厂家外包测试服务的主观感知出发，进行评分，不做量化。

投诉考核（零起点扣分制）

此项为否决项，若乙方出现因未及时处理的故障，或本应在测试、日常工作中发现的隐患没能及时发现等，造成该基站覆盖范围内集中投诉的情况，将追加进行扣分，扣分可依照每同一地点同一天出现5件扣除10分的标准进行考核。

安全事故追加扣分项（零起点扣分制）

此项为否决项，若乙方出现人为疏忽、未按照规定流程操作等情况对自身及甲方造成重大故障及恶劣影响的，。根据情节采取零起点不少于10分扣分制，上不封顶，直接记入总考评成绩。

其他扣分项

1拒不服从中国移动北京公司公司管理和调度，情节严重。 2由于处理不当造成互联互通工作重大影响。 3没有遵守保密规定，将网络信息透露给第三方。 4测试外包人员流失比例超过20%。

7

网络优化中心

5以上内容根据实际情况在年度考核中酌情扣分，情节一般者扣除10分，情节严重并造成重大影响或损失者，加倍扣分直至取消年度考核分数。

加分项目

1、以自然月为单位，对测试公司的工作情况进行评估，对评分前两位的给予加分，第一名加2分，第二名加1分； 2、总结并提出外包测试中发现的问题和解决办法，具有一定的推广价值的，同时提供有价值信息，对网络优化及网络质量提升做出突出贡献。一次加5分；

3、积极开展技术创新和管理创新工作，并取得一定的成果的，一次加2分；

4、主动发现或处理重大投诉隐患，避免集中投诉的发生的，一次加2分；

5、在重大通信保障工作或应急突发事件中表现突出的，一次加2分。

6.2.3. 考核与支付比例如下：

各厂家按月考核，每月的测试费用按照8:2的比例切开，20%的费根据年底年度考核成绩而定，80%的费用根据各厂家月度考核成绩而定：

月度考核成绩大于等于90分，评定成绩为A，付给当月测试费用的80%；月度考核成绩大于等于80分低于90分，评定成绩为B，付给当月测试费用的72%；月度考核成绩大于等于70分低于80分，

7

网络优化中心

评定成绩为C，付给当月测试费用的%；月度考核成绩大于等于60分低于70分，评定成绩为D，付给当月测试费用的56%；月度考核成绩低于60分，评定成绩为E，付给当月测试费用的45%。

年底以各厂家的月度考核成绩算术平均得到年度考核成绩。12

个月累积的暂缓付费的20%测试费用与年度考核成绩支付比例为： 年度考核成绩大于等于90分，评定成绩为A，付给全年测试费用的20%；年度考核成绩大于等于80分低于90分，评定成绩为B，付给全年测试费用的16%；年度考核成绩大于等于70分低于80分，评定成绩为C，付给全年测试费用的12%；年度考核成绩大于等于60分低于70分，评定成绩为D，付给当月测试费用的8%；月度考核成绩低于60分，评定成绩为E，付给当月测试费用的4%。

占全年测试费用80%月度评比等级支付比例扣除比例A考核与支付比例BCDE100%90%80%70%50%占全年测试费用20%年度平均评比等级支付比例扣除比例0A10%20%30%50%BCDE100%90%80%70%50%010%20%30%50%年度考核为A，除获得全部20%尾款，还可获得北京公司额外的奖励和荣誉证明 各厂家考核中扣除的测试费用作为奖励在年底平均支付给年度考核评定成绩为A的厂家。

7

网络优化中心

外包测试服务厂家评分表厂家名称测试项目评定月份评定日期项目分值内容基础管理60测试数据有效40加分扣分要求基准分评分标准扣分说明根据测试内容不同按照需未按时要求及时上报测试数据反馈及时求部门要求及时上报测试5的，发现一次扣1分。数据。针对厂家提供的测试进行抽检（10%），测试需求如发现测试数据不真数据真实性部门通过定位或数据核查5实，发现一次扣2分。等多种手段对测试数据的10%进行真实核查。根据各需求部门月初的测未能完成当月测试要求当月测试完成渗透率试计划按时完成当月测试10的渗透率，此项不得分工作。。与参加比选时期封存人员名单进行比较，具体参与项目的人员月底由需求部门上报人员名单，通过匹人员流动性10计算得出的匹配度*10配程度（具体参与项目人员名单/参加比选人员能力考试名单*100%）考察流动性针对厂家提供的测试进行抽检（10%），测试需求部门通过核查等多种手段如发现测试数据不完数据完整性对测试数据的10%进行核30整，发现一次扣5分。对，要求每个测试项目都测试，满足测试规范中提及的项目。要求测试厂家针对所测试根据各个测试需求部门的项目向测试需求部门提对测试报告的要求来考测试报告完善供报告，内容包含问题呈30核，若所有项目都完现、问题分析及初步定位备，该项得满分。缺少达到测试规范中的要求。一项内容扣5分。要求测试厂家提供的测试从需求部门平时使用厂服务及配合能满足各需求家外包测试服务的主观测试能否满足需求部门的需求，主要是各部10感知出发，进行评分，门对厂家提供服务的主观不做量化。感受以自然月为单位，对测试对评分前两位的给予加考核排名公司的工作情况进行评估分，第一名加2分，第。二名加1分。提供有价值信息，对网总结并提出外包测试中发络优化及网络质量提升优化建议推广现的问题和解决办法，具做出突出贡献。一次加有一定的推广价值5分。积极开展技术创新和管理取得一定的成果的，一技术管理创新创新工作次加2分主动发现或处理重大投诉发现网络隐患隐患，避免集中投诉的发一次加2分生在保障中无用户投诉，重点通信保障（主要指集重点通信保障表现突出的，每次加2团检查）测试配合。分若乙方出现因未及时处理的故障，或本应在测试、日常工作中发现的隐患没能及时发现等，造成该基站覆盖范围内投诉考核否决项集中投诉的情况，将追加进行扣分，扣分可依照每同一地点同一天出现5件扣除10分的标准进行考核。此项为否决项，若乙方出现人为疏忽、未按照规定流程操作等情况对自身及甲方造成重安全事故考核否决项大故障及恶劣影响的，。根据情节采取零起点不少于10分扣分制，上不封顶，直接记入总考评成绩。拒不服从中国移动北京公司公司管理和调度，情节一次扣10分严重。其他由于处理不当造成互联互一次扣10分通工作重大影响。没有遵守保密规定，将网一次扣10分络信息透露给第三方。得分考核来源各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供依据当月考核分数依据建议报告及成果报告依据各需求部门上报的创新报告依据各需求部门上报的隐患分析报告各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供各测试需求部门提供 7

网络优化中心

6.3. 针对需求部门的考核

考核测试需求部门思路：

1、各需求部门是否定期抽检厂家测试数据；

2、服管与质管的测试数据及生成的报告是否有效支撑区域下一步的优化工作；

3、区域是否有效利用测试数据开展工作。

注：对外包测试管理专门考核，放入2011年考核体系。

6.3.1. 针对区域中心 涉及区域的测试项目有： （1）投诉处理现场测试； （2）宏蜂窝新改扩测试。

考核区域对外包测试的利用率，分为两方面： （1）管理； （2）效果。

就管理而言，考核区域是否对厂家的测试进行了抽检（10%），业务部本月将随机对厂家的投诉处理现场测试进行抽检，使用TRAFFICA跟踪厂家在测试时段的具体位置，如与需测试的投诉地点不符，同时区域又未及时发现，则在当月的外包测试管理项目考核中对区域扣分，发现一处扣2分，同时通报厂家彻查原因。

就效果而言：

（a）考核区域是否有效使用宏蜂窝新改扩测试数据，业务部将

7

网络优化中心

考核在新改扩区域是否发生投诉，如果在新改扩建设区域，厂家及时进行了测试且发现问题，将在当月对区域扣分，发现一个地点扣2分；如果发生投诉地点属于新改扩而厂家测试没有发现问题，将由区域对厂家进行考核，彻查原因。

（b）质管通过外包测试厂家数据形成的分析报告区域是否有效利用，如果当月测试掉话、未接通等异常事件地点与上月地点重复，说明区域未对测试发现地点进行有效优化，发现一个扣该项1分。

6.3.2. 针对无线网络服务管理中心 涉及服管的测试项目有： （1）拉网测试； （2）投诉后评估测试

考核服管对外包测试的应用，分为两方面： （1）管理；

（2）是否指导区域的优化工作并提供有效支撑。

就管理而言，考核服管是否对厂家的测试进行了抽检（10%），业务部本月将随机对厂家的测试进行抽检，使用TRAFFICA跟踪厂家在测试时段的具体位置，如与需测试的投诉地点不符，同时服管又未及时发现，则在当月的外包测试管理项目考核中对服管扣分，发现一处扣2分，同时通报厂家彻查原因。

就支撑而言，考核服管是否有效利用拉网测试数据输出建设建议，如集团工单或网络部要求某一特定区域的拉网数据或中心领导

7

网络优化中心

要求提供某一特定区域拉网数据而服管拉网数据库中无相应数据，影响中心数据上报进度，出现该情况，一次扣服管该项5分；考核服管投诉后评估的有效性，从重复投诉的角度出发，如果投诉后评估区域合格的区域仍出现投诉，将对服管进行考核，发现一个地点扣1分。

6.3.3.

针对无线网络质量管理中心

涉及质管的测试项目有： （1）CQT测试； （2）DT测试； （3）WLAN测试

考核质管对外包测试的应用，分为两方面： （1）管理；

（2）是否指导区域的优化工作并提供有效支撑。

就管理而言，考核质管是否对厂家的测试进行了抽检（10%），业务部本月将随机对厂家的测试进行抽检，使用TRAFFICA跟踪厂家在测试时段的具体位置，如与需测试的投诉地点不符，同时质管又未及时发现，则在当月的外包测试管理项目考核中对质管扣分，发现一处扣2分，同时通报厂家彻查原因。

就支撑而言，考核质管的CQT/DT/WLAN测试数据是否能为区域的优化工作提供有效支撑，业务部将每月从区域收集区域对质管提供测试报告的评分，根据评分对质管进行考核。区域评分在90分

7

网络优化中心

以上，质管该项考核不扣分，区域综合评分在90-75分之间，质管该项考核扣1分，区域综合评分在75分-60分之间，质管该项考核扣2分，区域综合评分低于60分，质管该项考核扣4分。

7