2.4　智能感知应用

人类和高等动物都能通过视觉、触觉、听觉、味觉、嗅觉等来感受外界刺激，获取环境信息。智能系统同样可以通过各种传感器来感知周围的环境信息，目前主流的智能感知应用包括视觉感知、听觉感知、触觉感知等。

2.4.1　视觉感知

视觉传感器以图像的形式呈现环境信息，一般将监测环境中景物的光信号转换成电信号。目前，用于图像采集的常见视觉传感器包括红外热像仪、可见光摄像机、TOF（Time Of Flight）深度摄像机及近红外摄像机。红外热像仪由于依靠被测物体及它与背景间的温差成像，不受光照、阴影干扰，具有良好的云雾穿透性能，能有效地工作于低能见度环境中。但是，它所获取热红外图像的时空分辨率较低，边缘模糊，无法保留物体的几何和纹理等细节信息。可见光摄像机采集的图像有较高的时空分辨率，具有丰富的色彩、几何和纹理细节，但它对光线强度敏感，容易受遮挡、阴影等不利因素的影响。TOF深度摄像机通过光的飞行时间来获取目标距离，其计算精度随距离变大而变得不敏感，它工作时需要主动光源，图像分辨率较低，且较强的环境光线会影响其深度测量的稳定性。在无可见光或微光的黑暗环境下，近红外摄像机采用红外发射装置主动将红外光投射到物体上，红外光经物体反射后进入镜头实现夜视成像，但夜视效果往往不理想，存在颜色失真、发热量大等缺陷[16]。

虽然上述这些视觉传感器有一些功能上的不足，但视觉感知系统由于获取的信息量更多、更丰富，采样周期短，受磁场和传感器相互干扰影响小，质量轻，能耗小，在众多智能系统中受到青睐。下面介绍一些常见的视觉感知应用。

1.智能车视觉感知应用

智能车视觉感知系统主要检测行驶过程中的人、车、路信息，下面就以交通标志检测为例，说明智能车视觉感知系统是如何工作的。

交通标志检测与识别系统主要包括色彩分割、形状检测和验证、象形识别等功能。

1）色彩分割

道路交通标志具有特定的颜色，主要包括黄底、白底、蓝底、绿底、棕色底、黑边、黑图案、红圈、白图案等。所以，当光照调节键良好时，HSV 色彩空间的色度与饱和度信息能够滤除大部分与交通标志色彩差异大的颜色，通过摄像头对大量的行车环境中的图像进行采样，可以确定色彩分割的阈值。

2）形状检测和验证、象形识别

可对上一步采集到的各种道路交通标志图像进行检测和识别。对于道路交通标志，其有固定的形状，主要是正三角形、圆、长方形和正方形。在确定交通标志的候选区域后，计算每个候选区的长宽比例和边界范围，然后对检测的形状用模板匹配原理进行验证，可以大致完成分类，最后通过图像识别处理算法进行在线识别，就可以高效准确地识别交通标志图像内部的象形图[17]。

2.消防机器人视觉感知应用

消防机器人主要采用可见光摄像机和/或红外热像仪构建视觉系统以采集环境信息。常见的消防机器人视觉系统主要有单目视觉系统[18-20]和立体视觉系统[21]两大类型。前者使用单个摄像机感知周围环境，结构较为简单。立体视觉系统分为双目和多目两种，主要使用多个摄像机，从不同视点拍摄同一空间物体，对所得到的不同图像中的视差获取目标深度信息并进行三维重建。立体视觉系统需要解决摄像机标定、立体匹配和三维重建三方面的主要问题，其复杂程度相对单目视觉系统显著提高，而且会随着摄像机数目的增加进一步提高，因此实际使用的主要为双目立体视觉系统。

定位火焰属于消防机器人的基本功能，双目/多目立体视觉系统因能够得到较好的定位精度而得到了广泛应用[22]，但这类系统安装、调试难度往往比较大，其中多个摄像机参数的标定过程比较复杂。因此，一些研究者也在尝试利用图像传感器特殊性质[23]或结合紫外线传感器、温度传感器等非图像传感器[24]来达到使用单目摄像机高精度定位火焰的目的。

3.空间机械臂在轨作业视觉感知应用

随着机器人、遥控操作等技术的不断发展，以空间机械臂代替航天员进行空间在轨服务已成为一种趋势[25]。视觉作为空间机械臂的“眼睛”，在在轨服务操作中具有举足轻重的地位。

加拿大 MDA 公司设计的包含两个闩锁抓捕机构的对接环抓捕工具如图2-10（a）所示[26]。该工具的视觉系统有两组：第一组为监视用视觉系统，包括黑白相机加LED照明灯，用于人工操作时的监视，其中照明可用于补光；第二组为用于自动操作的视觉系统，包括两个相机及两个激光发射器，可以构成两套结构光测量系统。这样，在视觉感知系统的辅助下，空间机械臂就可完成如图2-10（b）所示的在轨作业[27]。

德国OHB公司设计的另一种空间机械臂视觉系统如图2-11所示[28]。该系统采用双目视觉结合机械手，进行对接环的抓捕。

美国的RSGS 计划使用两条 FREND机械臂：一条用来捕获和握紧目标；另一条用于取工具和修理。机械臂末端结构如图2-12（a）所示，包括控制板、工具更换装置、相机系统及其光源。相机系统为三目相机，单个相机为带有照明的MDA相机，如图2-12（b）所示。可采用双目视觉对目标进行位姿测量，同时将另一相机作为备份。测量数据可以用来引导机械手进行抓捕等操作，完成空间在轨维护任务[29]。

2.4.2　听觉感知

听觉是人类和智能系统识别周围环境很重要的感知能力，尽管听觉定位精度比视觉定位精度低很多，但听觉有其无可比拟的优势。例如，听觉定位是全向性的，传感器阵列可以接受空间中的任何方向的声音。智能系统依靠听觉可以在黑暗环境或光线很暗的环境中进行声源定位和语音识别，这依靠视觉是不能实现的。听觉感知技术将数据域内信息的特征映射成声音特征量（音高、响度、音色等）之间的关系，用以描述、表达数据的内在关系，从而对数据进行监控或提供数据分析支持，同时可以解决视觉不能独立完成的任务，降低视觉的负荷。结合视觉通道和听觉通道承载信息会使人获得强烈的存在感和真实感，这在虚拟现实中已有大量应用[30]。此外，听觉感知在军事等领域也取得了很好的应用效果。

1.水下目标自动识别

水下目标自动识别一直是各国海军优先和重点发展的技术。根据目前的科学研究和实践表明，声波是水介质中所有信息载体中传播损失最小的，因而声呐是水下远程目标探测最有效的工具。声呐接收的水下信号是发声体和所处介质共同作用后产生的目标辐射噪声，通过特征提取、特征选择和分类器处理可实现水下目标的准确辨识。20 世纪80 年代中期，美国军方装备了斯坦福大学研制的HASP/SIAP 水下目标识别系统；加拿大大西洋防务研究机构研制了一种能用于声呐信号机器解释的舰船辐射噪声信号分析专家系统（INTERSENSOR）；英国SD-Scicon公司综合了有监督和无监督两类学习算法，开发了一种基于神经网络的水下目标分类系统。此外，水下目标自动识别典型系统还包括印度研制的RECTSENSOR水下目标识别专家系统，以及日本研制的SK-8海岸预警系统[31]。

2.无人平台应用

无人平台是一种面向信息化作战的集感知、控制和智能决策于一体，能够自主驾驶的智能平台。无人车、无人机间的很多交互信息是基于声音的，如枪声、炮声的识别定位，语音指令，环境声音等，感知周围这些基于声音的交互信息，并做出正确的智能决策对无人车辆而言至关重要。听觉感知包括声学事件检测和特定语义下的音频场景识别。声学事件检测通过采集设备拾取声音信号，经分析处理后获得其发生的开始时间、持续时间、场景类别等信息，并将其转化为相应的事件符号表示，从而达到仿真人耳听觉感知能力的目的。音频场景分析基于声学事件检测来判断所处的场景。例如，识别枪声、炮声，甚至根据炮声的不同来识别对方所用的武器装备；通过频繁鸟鸣声判断是丛林作战环境，通过雷雨声辅助判断作战时的天气状况等[32]。

2.4.3　触觉感知

触觉是智能系统获取环境信息的一种仅次于视觉的重要知觉形式，是实现与环境直接作用的必需媒介。与视觉不同，触觉本身有很强的敏感能力，可直接测量对象和环境的多种性质特征。触觉的主要任务是为获取对象与环境信息和为完成某种作业任务而对智能系统与对象、环境相互作用时的一系列物理特征量进行检测或感知。触觉感知与视觉感知一样基本上是模拟人的感觉。广义的触觉是接触、压迫、滑动、温度、湿度等的综合，而狭义的触觉则指接触面上的力觉，其严谨的概念包括接触觉、压觉和滑觉。通过触觉能达到的个别功能，虽然其他感觉也能完成，但许多功能为触觉独有，其他感觉难以替代。触觉融合视觉，两者在功能上的互补性可为智能系统提供可靠而坚固的知觉系统。

触觉感知来源于触觉传感器采集或测量到的外界被接触物体的各种特征，然后通过各种算法进行特征提取、分类和数据融合，进而做出准确的识别决策。就以苹果iPad为代表的触控计算机而言，其以强大全面的功能为基础，采用友好的UI 界面作为人机交互的窗口，并以稳定简便的系统保证快速准确地完成用户的需求，已经将用户的体验提升到了一个空前的高度。通过触觉界面，用户不仅能看到屏幕上的物体，还能触摸和操控它们，产生更真实的沉浸感。触觉感知在人机交互应用中有着不可替代的作用，已成为人机交互领域的最新技术，对人们的信息交流和沟通方式将产生深远的影响[33]。

1.视障产品应用

将触觉感知技术应用于视障产品中，能给视障群体带来实实在在的便利。例如，带有漂浮杠杆提示水位的水杯，当杯内水位到达一定程度时，其杠杆的杯外部分会触及握住把手的大拇指，从而让人获知“现在杯内的水已经足够了”；盲人手杖设计中增加了手部触感的反馈，使用者通过手指触感的变化来获取周围环境信息；盲人专用导航鞋，鞋内置蓝牙、GPS模块及小型振动装置，在行走过程中，鞋子前后左右4个振动器会通过振动指示方向，如图2-13所示。

2.假手产品应用

假手是一类典型的人机交互设备，对于辅助手臂截肢患者恢复手部功能有着重要的作用。现代智能假手除了在外观上装饰残疾人缺失的肢体，还可以通过肌电控制及其力触觉感知反馈机制实现其运动和感知能力。图2-14所示为全国第十二届“挑战杯”的优秀作品“具有力触觉的新型人机交感智能肌电假手”。本产品可安装于残疾人剩余手臂，将两个肌电电极贴放在残肢上，通过肌电电极采集残肢体表信号，控制假手的张合。假手上的应变片和力传感器采集实时的力信号，联合肌电信号控制假手的张合动作。另外，假手末端安装了三维腕力传感器，可同时测量x、y、z 3个方向的力，而在使用者的剩余手臂上安装6个微型振动器以传达腕力传感器的信号。当三维腕力传感器检测到假手受到外界的干预力时，其将此信息通过某一振动器来刺激某一肌肉，从而通过这种触觉反馈的设计来完成对外界的探知过程。

3.博物馆虚拟体验应用

虚拟现实技术虽然已经能够在博物馆中建立惟妙惟肖的三维视觉环境，但仍不能满足观众日益高涨的互动体验需求。观众渴望在看到藏品的同时，还能够触摸藏品，感知藏品的软硬、纹理、粗糙度和柔韧性等其他非视觉信息。触觉对于虚拟现实技术中临场感程度和交互性的建立具有十分重要的意义。

由浙江理工大学联合杭州师范大学和上海尚特文化传播有限公司创新研发的具有完全独立自主知识产权的触觉感知数字图像系统，不仅可以让用户看到数字图像，更能“触手可及”。其核心技术包括：基于质子弹簧模型的柔性纹理图像力触觉生成方法、基于区域划分的纹图像三维重构方法、双交互触点力触觉生成方法，以及基于五要素的刚性纹理图像力触觉生成方法等。以一件织物的触觉感知为例，如图2-15所示，用户可以用两个手指操作和感知虚拟织物，在触摸、按压或牵扯虚拟织物时，既能观察到虚拟织物的变形，又能感受到虚拟织物的手感，体验逼真的虚拟织物触摸过程。

感知作为人类所具有的一种基本能力，被用来描述和理解环境，感知的过程是人类感觉器官、神经元，以及大脑的一系列的刺激、转换和再创造的生物活动。为了在机器上实现类似于人类感知系统的智能信息处理能力，除了需要开发类似于人类感觉器官的智能传感器，还需要在环境信息融合的算法、机制方面进行深度研究。