基于OpenPose的智能镜子研究与应用

陈 丹

(四川省大数据中心，四川 成都610000)

2012年5月，日本公司Seraku在移动设备世博会上推出了一款基于Android系统的智能镜子显示器[1]，镜面屏幕可显示每日天气、体重、笔记等信息。该显示器包含一个半透明反射镜和一个能够检测用户手势的射频距离传感器。智能镜子是运行应用程序的智能终端，拥有独立的应用商店，支持人脸识别、语音识别、手势识别、多点触控等交互方式，可以为多个用户提供丰富的功能。智能镜具有半透明反射面和内置射频距离传感器，可检测用户的手势操作。智能镜子就是一个智能自助中心，可以成为用户生活和工作的小助手。智能家居镜面屏通常可以显示每日天气、热点新闻、路况、时刻表、穿衣线索、健康保健等内容。

目前，智能镜子市场有很多概念产品，在家庭生活、酒店、医疗、服装和美容等领域进行了测试，但智能镜子市场尚未完全开放。现阶段，智能镜子的发展面临两大难题。一是价格高。智能镜子聚合了很多功能，增加了很多高科技设备，一些智能镜子使用更复杂的平面屏幕，价格往往让用户望而却步。二是实用性有待验证。智能镜子的许多在线功能都可以用平板电脑代替。更重要的是，平板电脑还具有移动、方便、灵活的优势。各大智能镜像公司不断开发很多功能来丰富和规模化不同场景下的应用，但是其中一些场景功能应用是否实用可行，这是一个需要参与企业去验证和调查的问题。智能镜子作为一个新的家居产品品类，市场份额尚未扩大。

经过多年的发展，智能镜子在服装消费、医疗健康、智能家居等领域得到了应用。

1) 服装消费领域[2]。半导体显示龙头京东方(BOE)在2014 FPDChina展会上推出了一款AI换装智能镜子。在看似正常的试衣镜前轻轻一点，即可看到镜子上的显示界面。通过点击界面图标，用户可以一边看着镜子里的自己，一边看到穿衣搭配的效果，找到不同的领带打法。这款“智能镜子”是京东方原创研发的触控镜面显示屏。通过在屏幕表面采用半透明/半反射结构，增强了光的反射效果，反射率为60%，色域高达72%，居业内领先水平。同时，采用京东方独创的ADSDS超硬屏技术，“智能镜面”具备上下左右178度超广角，纳米触控多点触控功能和Wi-Fi功能。

2) 医疗健康领域。深圳锐智能科技有限公司基于大数据、云计算、智能传感技术，研发制造了智能健康魔镜。通过人脸分析、舌苔分析、状态问答等一系列检测，可以有效反映人体的实时状态，同时将外部环境和大数据运算相结合，检测人体健康。在此基础上，给出医疗计划和保健计划。

3) 智能家居领域。微软于2016年推出了一款名为“魔镜”的智能镜子。它不仅可以用来梳妆打扮，还可以为用户提供他们需要的信息，例如时间、天气和线路等。此外，智能镜子还可以识别用户的情绪。“魔镜”是一面单面镜子，镜面下方有一块23.6英寸的液晶屏显示信息，同时还有隐藏的面部识别摄像头。该设备运行在RaspberryPi3微型计算机上，使用Windows Hello生物识别技术进行人脸识别，可以识别愤怒、喜悦和惊讶等八种不同的情绪。微软的人脸API识别服务允许人脸匹配个人资料，允许智能镜子显示与用户情绪相关的信息。面部识别还允许广告商实时查看用户对Smart Mirror广告的反应。

目前，智能镜子作为一种新型家居产品，市场份额尚未扩大。随着智能镜子功能的逐步完善和消费者认知度的不断提高，智能镜子销售空间将逐渐打开，购买智能镜子的消费者数量将不断增长。

随着人工智能技术的不断发展，智能镜子也引入了智能识别、AR、体感、语音识别等技术，以此提高智能镜子的科技感和娱乐性，配合使用物联网、纳米触控、热成像等技术，可以让智能镜子更加实用。

1) 人脸识别技术。人脸是表征不同个体的显著特征之一。人脸识别技术相对成熟，是智能镜子的必备功能。智能镜子需要人脸关键点检测、身份识别、人脸遮挡检测等技术特性。

2) 目标识别技术。智能镜子通常配备至少一个摄像头，用于捕捉镜子前的图像。用户往往有特定的目标识别、目标变化检测、场景识别等视觉分析和理解需求。因此，目标识别技术是智能镜子的必备功能。

3) 智能语音技术。语音是用户与智能镜子交互的一种信息。用户可以通过语音控制智能镜子功能的选择和操作，智能镜子通过语音向用户传达信息、提示、警报等信息。因此，智能镜子需要语音识别、语音合成、语音对话等传统技术特征。

4) 体感技术。体感技术常用于用户与智能镜子的交互控制过程中。用户通过手部动作、身体动作等向智能镜子发送指令信息，智能镜子分析相应动作并提供进一步反馈。

5) 物联网技术。智能镜子本身是一种物联网设备，在5G等通信技术的支持下，通过物联网技术可以连接其它智能设备，从而丰富应用场景。

6) 边缘计算技术。智能镜子是物联网设备的一部分。如果用户只使用端到端计算，计算资源非常有限，功耗也非常有限。我们需要提高物联网边缘设备的计算能力。边缘计算是继分布式计算、网格计算、云计算之后的一种新型计算模式。它是以云计算为核心，以最新的通信网络为途径，以大型智能终端为前沿，集云、网、端、智能于一体的新型一体化计算模式。

7) 多通道人机交互信息融合。目前智能镜子已经向多通道[3]人机交互信息融合技术发展，人工智能技术正在迅速提升单通道认知感知技术的性能，计算机能够更好地理解用户的单通道行为。然而在多通道移动交互和自然交互条件下，智能镜子需要准确地判断用户“在做什么”和“要做什么”，才可能对用户行为进行准确反馈。多通道人机交互中用户意图的准确理解是交互自然与否的关键，而如何根据不同通道信号进行有效融合是准确理解用户意图的重要手段。

OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以caffe为框架开发的开源库，可以实现人体动作、面部表情、手指运动等姿态估计，适用于单人和多人，具有极好的鲁棒性，是世界上首个基于深度学习的实时多人二维姿态估计应用。人体姿态估计技术在运动健身、运动采集、3D拟合和舆情监测等领域具有广泛的潜在应用。OpenPose利用卷积神经网络和监督学习来实现人体姿势评估算法。它的主要优点是适用于多人开源模型的2D准确快速识别。

本文将基于OpenPose实现智能镜子的人体姿态识别，通过智能镜子的前置摄像头获取图像信息，利用VGG-19网络的前10层对图像进行处理，得到图片的特征F，特征F通过一个连续的多阶网络进行处理，网络的每个阶段(t)包含了两个分支，其中输入结果为St(PartConfiendceMap)和Lt(PartAffinityMap)。其中，St得到头部、胳膊肘等关节信息。Lt得到肢体躯干信息，在Lt的帮助下，把St的坐标点连接起来，形成人的姿势骨架。

图1 姿势识别详细流程

本文使用反复迭代的CNN网络进行检测，每个CNN网络都有两个分支：CNN_S和CNN_L，如图1所示。本文所使用的网络是一个不断迭代的网络连接，第一阶段和后续阶段的网络在形态上有所区别。每个阶段的两个网络分支分别用于计算部位置信图(PartConfiendceMap，关节点)和部位亲和域(PartAffinityMap，肢体躯干)，网络的第一个阶段接收的输入是F，经过网络的处理后分别得到S1和L1。从第2个阶段开始，阶段t网络的输入包括三部分：St-1、Lt-1、F。每个阶段网络的输入为：St=ρt(F,St-1,Lt-1),∀t≥2;Lt=Øt(F,St-1,Lt-1),∀t≥2。这样反复迭代，直到网络变得收敛。通过这种顺序迭代的网络架构，可以提高检测精度，同时每个阶段都有损失函数，避免了梯度消失的问题。

本文对智能镜子的发展情况、应用情况以及使用的主要技术进行了分析，结合智能镜子的实际应用场景，使用OpenPose对人体姿态进行识别，通过对人体关节点以及肢体躯干信息的识别，判断出人体的当前姿态，以此提高智能镜子的应用效果。

猜你喜欢 镜子语音智能 神奇的镜子军事文摘(2022年10期)2022-06-15空镜子都市(2022年1期)2022-03-08魔力语音阅读（快乐英语高年级）(2019年5期)2019-09-10基于MATLAB的语音信号处理电子制作(2019年14期)2019-08-20基于MQ3与MP3的价廉物美的酒驾语音提醒器电子制作(2019年9期)2019-05-30智能前沿文苑(2018年23期)2018-12-14对方正在输入……小说界(2018年5期)2018-11-26智能前沿文苑(2018年19期)2018-11-09智能前沿文苑(2018年17期)2018-11-09智能前沿文苑(2018年21期)2018-11-09

推荐访问:镜子 智能 研究