人工智能电视测评分析及标准化探讨

【本文献信息】董桂官，张素兵.人工智能电视测评分析及标准化探讨[J].广播与电视技术，2019,Vol.46(12).人工智能电视测评分析及标准化探讨

董桂官，张素兵

（中国电子技术标准化研究院，北京 100176)

　人工智能电视在传统智能电视基础上，进一步拓展智能搜索、模糊检索、用户习惯学习等能力，形成更好的人【摘 要】机智能交互体验，是智能电视下一步发展的重要方向。本文梳理了人工智能电视领域已有标准和测试评价工作情况，分析人工智能电视产品重要技术属性及当前产品技术现状，并在此基础上提出了人工智能电视产业发展建议。【关键词】人工智能电视，智能电视，测试分析，标准化 TN948.57 A 10.16171/j.cnki.rtbe.201900012024【中图分类号】【文献标识码】 【DOI 编码】Evaluation, Analysis and Standardization of AI TV

Dong Guiguan, Zhang Subing

(China Electronics Standardization Institute, Beijing 100176, China)

Abstract AI TV has improved intelligent searching, intelligent recommending, user habit learning functions on the basis of smart TV, offering better man-machine interaction experience. And it has becoming an important development direction for smart TV. This paper sorts out the related standards and measurement in AI TV industry, analyzes the main technical features and the current product status. This paper offers several standardization suggestions based on the above analysis.

Keywords AI TV, Smart TV, Evaluation and analysis, Standardization

1 人工智能电视概念发展

智能电视顺应了电视机网络化、智能化的发展趋势，是彩电发展的重要方向，具有广阔的市场前景[1]。当前，智能电视产业发展十分迅速[2]，产业规模持续扩大，新兴技术不断涌现[3]，应用服务日益丰富，生态体系加速构建，融合态势愈发显著[4,5]，已成为国内外彩电市场竞争焦点。随着人工智能时代的来临，赋予各种人工智能属性的智能电视产品不断涌现，其产品功能、性能、形态各有千秋。笔者认为，让消费者在家庭实现更美好的生活，需要丰富多样、易用好用的围绕消费者个性化需求提供定制化服务的人工智能电视产品。

人工智能电视是在网络电视、智能电视的不断进步以及人工智能应用技术的飞速发展的基础上应运而生的，目前还没有正式的人工智能电视术语出台。在此，有必要回顾下网络电视、智能电视的相关术语，以便更好地制定人工智能电视术语。

根据SJ/T 11465-2014《网络电视机的网络应用技术要求》给出的定义，网络电视是指具有互联网接入功能的数字电视。根据SJ/T 11592-2016《智能电视概念模型》给出的定义，智能电视是指具有操作系统、能安装和卸载应用软件、具备一种或多种人机交互方式、能接收数字电视广播、接入互联网或其他网络并实现网络服务、可扩展其他应用或业务的电视终端。

人工智能电视相比于传统智能电视，应该能够具有更多的自适应、自学习、自成长特性，比如具备更精准的用户习惯捕捉、体验良好的智能搜索与智能推荐、更丰富的智能化服务等。2018年12月17日中国电子技术标准化研究院认证中心推出的国内首个《人工智能电视认证技术规范》（CESI/TS 015-2018）中对人工智能的定义为：依托大数据计算或机器学习等人工智能技术，实现智能化人机交互、内容推荐等功能的智能电视。此术语对后续有关国家、行业标准中的人工智能电视术语具有极大的借鉴作用。传统智能电视同人工智能电视的简单

广播与电视技术 〔2019 年·第46卷·第12期〕

146

Elaboration & Commentary ︳论述·点评

对比见表1。

制作传输方面关联性一般,为此本文的评测及分析依据主要为终端产品标准。

2016年以来，中国电子技术标准化研究院所属国家数字音视频及多媒体产品质量监督检验中心（以下简称“音视频国检中心”）积极开展人工智能电视测试技术研究，开发了自己的语音识别测试素材库[7]，依据GB/T 21023-2007《中文语音识别系统通用技术规范》、SJ/T 11712-2018《智能电视语音识别 测试方法》、SJ/T 11713-2018《智能电视语音识别 通用技术要求》、SJ/T 11688-2017《智能电视智能化技术评价方法》、CESI/TS 015-2015《人工智能电视认证技术规范》

表1 传统智能电视与人工智能电视的对比

关键特性网络支持语音识别智能推荐自学习模糊检索

传统智能电视

YYNNN

人工智能电视

YYYYY

2 基于人工智能技术的智能家电产品标准化现状

目前，国内已经发布的有关人工智能电视标准见表2，这些标准对人工智能电视的部分内容起到了初步的规范作用，配合后续标准的研制，人工智能电视标准体系将会随着技术、产业发展不断完善丰富[6]。

3 人工智能电视产品的初步评测分析

人工智能电视的智能性主要体现在终端呈现,同广播内容

的有关内容初步建立了包含语音识别、手势识别、智能化评价等关键要素在内的人工智能电视测试能力，开展了不同人工智能产品的测试，对相关产品性能状况、标准研制起到了重要作用。

3.1 语音交互评测

2017年7月，音视频国检中心针对当时市面的主流人工智能电视进行了第一批人工智能电视产品的评测[8]，选择了语音识别方式、语音识别准确率、语音识别时间等3个同消费者使

注：Y代表支持，N代表不支持。

表2 已经发布的相关国家、行业标准

标准号SJ/T 11592-2016GB/T 21023-2007SJ/T 11712-2018SJ/T 11713-2018SJ/T 11688-2017SJ/T 11737-2019

标准名称智能电视概念模型

中文语音识别系统通用技术规范智能电视语音识别 测试方法智能电视语音识别 通用技术要求智能电视智能化技术评价方法

智能电视基于2D摄像头手势识别技术要求及测量方法

标准类别电子行业标准国家标准电子行业标准电子行业标准电子行业标准电子行业标准

表3 语音识别方式测试结果

序号

分类

测试项目遥控器

1

语音识别载

体支持

电视机机身APP

网络条件支

持语音识别分

类

网络语音识别本地语音识别互联网智能检索命令词识别操控

样品AYNYYNYY

样品BYNYYNYY

样品CYYYYNYY

样品DYNYYNYY

样品EYNNYNYY

样品FYNYYNYY

样品GYNYYNYY

2

3

注：Y代表支持，N代表不支持。

广播与电视技术 〔2019 年·第46卷·第12期〕

147

论述·点评 ︳ Elaboration & Commentary

表4 语音识别准确率测试结果

测试项目字准确率

样品A94.12%

样品B99.41%

样品C95.88%

样品D99.41%

样品E97.65%

样品F97.%

样品G97.65%

平均值97.39%

表5 语音识别时间测试结果

样品样品A样品B样品C样品D样品E样品F样品G平均值

平均识别时间

（单位：s）

2.134.762.612.042.202.481.862.58

平均实时系数

（单位：1）

1.934.143.032.741.972.332.052.60

最大等待时间

（单位：s）

3.008.434.634.803.832.932.634.32

2017年12月，音视频国检中心开展了第二批次人工智能电视产品测试，主要测试指标数据如表6所示。

通过表6和表3〜表5的对比可以看出：仅仅半年的时间，人工智能电视在语音识别方面进步飞速，识别时间更短，并且部分产品增加了诸如远场语音支持、声纹识别支持等更加提升消费者体验效果的功能，从字识别拓展到语义理解、模糊检索，且语音交互性能不断提升。

3.2 智能化评测

智能化评测项目结果分别见表7〜表11。

从表7可见：冷启动开机时间相差不大，平均开机时间29.88s，原因为底层系统相同，即使加载了个性化服务仍相差较小；由于样品C、D、E开机时没有广告，因此启动时

用密切相关的指标，结果分别见表3、表4和表5。

从表3可见，目前遥控器以及手机APP依然是最主要的识别载体，遥控器依然是最符合消费者使用习惯的输入方式，语音识别很依赖网络条件的支持，这对于网络不发达或网络条件不佳的用户来说存在着极大不变，未来人工智能电视应具备本地语音识别功能。

从表4可见，人工智能电视产品语音识别准确率较好，平均识别准确率超过97%，体验良好。人工智能电视在语音识准确率方面已基本满足消费者预期。

从表5可见，7台样机中2台实时系数>3，低于《智能电视语音识别 通用技术要求》标准的规定；整体实时系数平均值为2.60，达到《智能电视语音识别 通用技术要求》标准的指标要求。整体而言，智能电视的识别时间仍需完善，以便更好地提升消费者使用感受。

间相对短一些。热启动的开机时间结果分为两种情况，一种是与冷启动开机时间差不多，另一种比冷启动开机时间短很多，热启动时间最低近6s；对于第二种结果出现的原因，一方面是因为热启动时没有开机广告，另一方面也说明在待电情况下，仍有部分服务运行，但这有可能提高电视的待机功耗。

表8给出了智能搜索准确率测试，从结果可见：目前产品在智能搜索方面还有更大的改进空间。

进一步按照搜索内容分为四类：音乐搜索、影视搜索、本机应用搜索、本机操作指令搜索，分类搜索的结果见表9。

从表9可见，1）所有样品智能搜索的重点都是影视搜索，表现都较好，其中针对不同电视产品合作服务商提供的视频源，2）部分样品完全不支持音乐搜索，即使本准确率表现更佳；

表6 第二批次人工智能电视测试结果

测试项目远场语音支持声纹识别支持语义理解准确率模糊检索准确率语音识别时间（单位：s）注：Y代表支持，N代表不支持。

样品AYY95.7%95%0.9

样品BNN91.4%82%0.7

样品CNN87.1%65%0.9

样品DNN75.7%62.5%1.3

样品ENN11.4%不支持2.0

148

广播与电视技术 〔2019 年·第46卷·第12期〕

Elaboration & Commentary ︳论述·点评

表7 启动时间测试结果启动时间（单位：s）

样品

冷启动

样品A样品B样品C样品D样品E样品F样品G平均值

29.7032.7225.3726.2029.4442.7522.9729.88

热启动28.5211.148.0226.376.7439.2623.0420.44

两种启动均有约15s广告

冷启动有广告均没有广告均没有广告均没有广告

均有广告，广告时间随机

均没有广告

—备注

样品A样品B样品C样品D样品E样品F样品G平均值

63%96%100%100%96%100%100%94%

不支持音乐推荐，影视推荐较差

———不支持音乐搜索

———

样品

表10 智能推荐准确率测试结果智能搜索准确率

备注

整体平均值仍可达到93%；对于音乐类、影视类推荐的支持

表8 智能搜索准确率测试结果

样品样品A样品B样品C样品D样品E样品F样品G平均值

智能搜索准确率

78%98%82%96%82%80%90%87%

备注不支持音乐搜索

—

本机操作指令支持较差

—

不支持音乐搜索不支持音乐搜索

——

为最主要配置，体现了电视的视听功能仍然是消费者关注的焦点。

表11给出了智能化服务评测结果。

从表11可见，语音识别是人工智能电视智能化特点的标配，大部分产品支持多屏互动（其中Airplay协议和手机APP控制支持的最多），其他智能化服务支持程度需要加强，诸如语音唤醒开机、多语系语音控制（支持普通话、四川话、广东话）仅有一台样品支持；在人工智能自学习、自决策等关键性能方面，目前仍有待进一步研究并结合消费者使用习惯给与更好支持，拓展如用户习惯学习、连续语音交互、决策能力、自定义设置等功能支持。

在以上测试的基础上，中国电子技术标准化研究院同业

机装有音乐软件也不支持，其它方面的准确率也不高，因此整3）本机操作指令搜索方面，大部分都支持关体准确率很低；

机、回到主页、返回、音量调节等基本操作，开机、菜单、方4）本机应用搜索方面各家表现向键、确认键大部分不支持；

良好，部分样品不支持搜索应用商店里的应用；但如果下载应用并安装后，可以通过语音交互进行搜索。

表10给出了智能推荐准确率评测结果。

从表10可见，智能推荐功能除1台样品外整体准确率理想，

界开展了广泛的交流，总结了前期的研究成果及测试结果，于2018年12月17日推出了国内首个《人工智能电视认证技术规范》并推出了产品自愿性认证活动，得到了彩电行业的大力响应，技术规范主要内容分为基本功能和性能、智能化和多轮语义理解、智能家居互连、典型应用场景支持、系统便捷性和稳定性、其他AI功能。根据认证技术规范，中国电子技术标准化研究院积极开展了人工智能电视产品自愿性认证，得到业界的积极响应，已发布首批次通过认证产品，为消费者选购人

表9 智能搜索准确率测试结果（续）

测试项目本机操作指令搜索本机应用搜索影视搜索

样品A96.70%不支持66.70%

样品B100%100%91.70%

样品C100%100%41.70%

样品D100%100%91.70%

样品E100%不支持66.70%

样品F100%不支持58.30%

样品G100%100%58.30%

广播与电视技术 〔2019 年·第46卷·第12期〕

149

论述·点评 ︳ Elaboration & Commentary

表11 智能化服务测试结果

样品

项目

A

语音唤醒开机

DLNA

多屏互

动

智能化服务

Miracast传屏Airplay镜像

手机控制（投屏、遥控器控制）多语系语音控制用户习惯学习连贯的语音操作决策能力自定义设置

注：Y代表支持，N代表不支持。

NNNYYNNYNY

BNYYYYNNNYN

CYNNNNNNNNN

DNNYYYNNNYY

ENNYYYYNYNN

FNNYYYNNNNN

GNYYNYNNYNN

工智能电视提供了很好的借鉴。

参考文献：

[1]郭沛宇.《广播电视人工智能应用(2018)》解读[J].广播与电视技术,2019,46(06):28-33.

[2]工信部:2020年我国智能电视市场渗透率将超90%[J].电子技术与软件工程,2018(07):1.

[3]潘榕,谢于迪.智能电视中的人机交互技术[J].电视技术,2014,38(S1):38-42.

[4]詹红艳.人工智能在电视人机交互中的实践[J].数字技术与应用,2019,37(03):233-234.

[5]唐百慧,曹三省.人工智能在广播电视行业中的应用研究[J].广播电视信息,2018(08):24-26.

[6]徐楠,曹新凤,韩少晖等.《智能电视 智能化技术评价方法》标准解读[J].信息技术与标准化,2018(04):12-14.

[7]董桂官,刘云,徐楠.智能电视中文语音识别测试研究[J].电声技术,2014,38(11):57-59.

[8]董桂官,周阳翔,阮向远等.语音交互标准化与智能终端语音交互测评[J].信息技术与标准化,2019(Z1):24-27.

4 发展人工智能电视的建议

人工智能技术的发展与产业融合，给消费者带来了更好的交互体验，电视行业引入人工智能技术，是产业发展的必然趋势。标准化工作作为衔接产业链上下游的催化剂在推动人工智能电视产业发展中将起到重要作用。为了进一步促进和推动人工智能技术与电视产业的融合发展，建议重点在以下方面开展工作：

1. 加强相关技术研究，提出人工智能电视标准体系针对电视产业与人工智能技术的融合，提出人工智能电视标准体系，布局技术发展焦点，形成适用性强、覆盖面广的系列标准，构建更为完善的标准体系。

2. 加快重点标准研制，同步推进标准技术验证

针对语音交互、智能家居等人工智能电视涉及的重点技术领域，开展重点标准研制，同步推进标准技术验证，研制适配产品技术现状、契合技术发展趋势的重点标准。

3. 完善公共服务能力建设，推动重点标准落地

在标准研制基础上，推进标准检测公共服务平台建设，面向产业提供标准、检测、咨询技术服务，推进标准落地，为产业发展保驾护航。

第一作者简介：董桂官，男,1987年出生,硕士,中国电子技术标准化研究院赛西实验室数字音视频及多媒体检测中心主任,主要从事消费电子领域领域标准、测试、科研工作。本文受国家重点研发计划“智能产品/设备认证评价关键技术研究与应用”项目资助。150

广播与电视技术 〔2019 年·第46卷·第12期〕