计算机系统应用  2019, Vol. 28 Issue (3): 208-214   PDF    
基于二维码匹配的指针式仪表读数识别方法
孙慧媛, 杨晓城, 蒋明峰, 边境     
浙江理工大学 信息学院, 杭州 310018
摘要:提出了一种基于二维码匹配的指针式仪表读数识别方法. 该方法先实时采集高质量的仪表状态图像, 同时获取二维码定位点信息以及与二维码相连接的数据库中存储的仪表类型信息, 再根据二维码定位点信息对仪表图像进行快速倾斜校正, 并利用二维码与仪表之间先验的几何位置关系快速提取图像中表盘所在的区域, 最后根据获取的仪表类型信息, 选择对应的仪表读数识别算法, 以实现快速准确地识别仪表读数. 实验结果表明: 该方法能有效提高指针式仪表读数识别的准确率, 尤其是对于复杂背景的仪表图像, 该方法可用于电力系统中刻度均匀的指针仪表识别.
关键词: 指针式仪表    二维码匹配    图像校正    表盘区域提取    读数识别    
Pointer Instrument Identification by Using Two-Dimensional Code Matching
SUN Hui-Yuan, YANG Xiao-Cheng, JIANG Ming-Feng, BIAN Jing     
School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China
Foundation item: National Natural Science Foundation of China (61672466); Natural Science Foundation of Zhejiang Province (LY18D060009)
Abstract: In this study, a novel identification method of the pointer instrument is proposed, which is implemented by using two-dimensional code matching information. Firstly, a high quality instrument state image and a two dimensional code image are acquired together. And the two-dimensional code location points and the type of instrument are obtained by matching the two dimensional code. Secondly, the instrument image is quickly corrected by the two-dimensional code location information. Then, using the geometric position relationship between the two-dimensional code and the instrument, the region of the dial plate in the instrument image is extracted quickly. Finally, according to the information of the instrument type, the corresponding instrument identification algorithm is selected to recognize the instrument readings quickly and accurately. The experimental results show that the proposed method can effectively improve the accuracy of the recognition of the pointer meter reading, especially for the instrument images of the complex background, which can provide an effective way for the pointer instrument identification in the power system.
Key words: pointer instrument     two-dimensional code matching     image correction     dial area extraction     readings identification    

1 引言

目前, 在电力巡检方面, 一般采用人工巡检方式, 通过人工抄表记录的方式对电厂设备进行依次排查. 然而电厂或变电站内设备种类多, 数量庞大, 使得工作人员巡检一次需要花费很长时间, 而且工人每天都要记录大量数据, 容易引起视觉疲劳, 从而导致数据出现较大误差, 所以人工巡检的人力成本很高且效果难以保证. 随着计算机视觉与自主巡检机器人的发展, 为利用机器人巡检代替人工巡检提供了技术支撑[1,2].

电厂或变电站中的仪表设备多处于复杂环境中, 巡检机器人采集的仪表图像不仅经常存在倾斜等问题, 而且复杂的背景会对图像的识别造成干扰. 现阶段国内外对指针式仪表识别技术主要集中在指针的定位上, 主要有: 减影法[3]和Hough检测直线[48]等方法. 减影法是通过比较两幅指针在不同位置的仪表图像, 得到无指针模板图像, 然后利用模板与待识别仪表图像相减得到指针的位置, 根据指针的位置对仪表进行最终的读数识别[3]. 该方法要求采集的图像背景相同且图像中只有指针是变化的, 而利用巡检机器人采集图像无法保证采集到的图像中只有指针是变化的. Hough检测直线法是将待识别仪表图像进行二值化, 然后利用Hough检测直线的方法确定指针位置并计算指针旋转角度, 根据指针旋转角度与仪表刻度之间的线性关系, 计算最终的仪表读数[69]. 上述仪表识别方法都是针对某一特定种类的仪表图像, 在采集背景较为单一且仪表图像不存在倾斜问题的情况下, 对采集到的仪表图像进行读数识别, 未考虑复杂背景下的仪表图像识别, 此外, 对于电厂或变电站等电力系统而言, 仪表设备种类繁多、数量庞大, 这也给仪表读数的识别带来了极大的挑战.

对此, 为解决上述问题本文针对刻度均匀的指针式仪表提出基于二维码匹配的指针式仪表读数识别方法. 该方法充分考虑了巡检机器人采集的仪表图像易倾斜、受现场环境影响大以及变电站内仪表设备种类繁多等问题, 通过实验看到即使在复杂的环境下, 该方法也能够对不同种类的指针式仪表实现良好的读数识别.

2 整体方案

在开始巡检之前, 在仪表设备正上方贴一张合适大小的二维码, 并使二维码与仪表设备的侧面保持平行. 开始巡检后, 利用摄像头采集仪表设备状态图像, 当二维码在采集的状态图像中并能识别时保存采集的状态图像, 否则改变拍摄位置对采集失败的仪表设备重新采集图像. 获取图像中二维码定位点信息并读取与二维码相连接的数据库中存储的仪表类型信息及仪表的量程范围等信息. 根据二维码的左上角和右上角的定位点信息对仪表图像进行倾斜校正, 接下来对校正后的仪表图像重新定位其二维码的定位点信息, 并根据二维码左下角定位点信息以及二维码与仪表之间先验的几何位置信息, 快速提取图像中表盘所在的区域. 最后, 根据获取的仪表类型信息选择对应的图像识别算法, 以实现快速准确地识别仪表读数. 系统整体方案如图1所示.

图 1 系统整体方案示意图

3 指针式仪表读数识别 3.1 基于二维码的图像采集方法

为了克服电力系统中种类繁多、尺寸不一的仪表在复杂环境下采集高质量状态图像的难题, 提出了一种基于二维码匹配的图像采集方法. 首先, 在仪表设备的正上方张贴一张合适大小的二维码, 使得二维码所在的平面与仪表水平面保持平行, 如图2所示; 然后, 用自主巡检机器的摄像头采集仪表状态图像, 当二维码在采集的状态图像中并能识别时保存采集的状态图像, 否则改变拍摄位置对采集失败的仪表设备重新采集图像.

通过识别图像中的二维码, 不但可以获得二维码的定位点信息, 而且通过将二维码与数据库连接, 可以获取数据库中储存的仪表类型、量程范围及零刻度与满刻度间夹角等信息. 对于电力系统中种类繁多、数量庞大的仪表, 通过仪表类型信息可以选择对应的仪表读数识别算法, 通过仪表的量程等信息, 可以为仪表读数识别提供必要的参数. 利用二维码连接的数据库储存信息, 可以获取仪表的类型、零刻度、满刻度以及零刻度与满刻度间夹角信息, 如表1所示.

图 2 采集的原始仪表状态图像

表 1 数据库信息

3.2 仪表倾斜校正

由于摄像头所采集的仪表状态图像很多情况下是倾斜的, 如果不进行倾斜纠正, 则识别结果会出现很大的误差. 对于倾斜校正, 最重要的是旋转角度α的确定. 为此, 本文利用二维码的定位点信息对倾斜的仪表图像进行快速校正.

获取二维码的左上角和右上角定位点坐标, 并计算这两点所连成的直线斜率, 进而确定旋转角. 以表盘中心为旋转中心, 将采集到的仪表图像旋转角度α, 得到倾斜校正后仪表状态图像. 如图3所示, 为图2的校正结果图.

图 3 倾斜校正后仪表状态图像

3.3 提取表盘所在区域

电厂或变电站等电力系统的现场环境相当复杂, 各种颜色不一、大小不同的管道、墙壁、设备等背景对后续的仪表识别干扰很大. 为了减小复杂环境对仪表读数识别的干扰, 提高仪表读数识别的准确率, 本文利用二维码与仪表之间先验的几何位置关系快速提取图像中表盘所在的区域.

首先, 在识别前, 分别测量二维码与仪表的几何位置, 即测量二维码的实际宽度q0、仪表的实际宽度w0以及仪表的实际高度q0. 然后, 对倾斜校正后的仪表图像重新定位图像中二维码定位点坐标. 接下来计算仪表图像中二维码的宽度q1, 并根据比例法得到图像中仪表的宽度为w1=w0*q1/q0, 高度为h1=h0*q1/q0, 如图4所示. 值得注意的是, 由于测量二维码与仪表的几何尺寸时可能存在误差, 所以选取的仪表图像宽度和高度比w1, h1要大一些, 以保证仪表整体都包含在图像之中, 最后, 根据二维码左下角定位点信息以及二维码与仪表之间先验的几何位置信息, 通过感兴趣区域(Region Of Interest, ROI)提取算法[10]快速提取图像中表盘所在的区域. 如图4(a)(b)所示为选取的宽度和高度分别为1.5w1和1.5h1. 图5为未使用仪表校正和提取表盘所在区域算法与使用仪表校正和提取表盘所在区域算法分别得到的表盘、表盘圆心以及指针.

图 4 表盘所在矩形区域

3.4 读数识别

根据数据库中存储的仪表类型信息, 选择对应的读数识别算法. 本文采用如图6所示角度法进行指针式仪表读数的识别. 读数识别的具体流程如图7所示.

图 5 表盘、表盘圆心及指针标识图

a)通过与二维码连接的数据库信息, 获得仪表的量程大小S以及直线L1与直线L2之间的夹角ϕ, 即零刻度与满刻度间夹角, 其中L1为仪表零刻度与表盘中心相连直线, L2为仪表满刻度与表盘中心相连直线;

b)求取仪表盘零刻度重心位置P1, 并利用hough检测圆得到仪表盘中心P0; 计算点P1P0相连的直线L1;

c)将图像进行细化[1115]并通过hough变换直线拟合得到指针直线L0;

d)计算直L1L0之间的夹角θ, 根据角度法计算仪表读数T:

$ T = S \times {\theta /\phi} $ (1)
4 实验分析与结果

为了验证上述仪表读数识别算法的有效性, 利用研发的自主巡检机器人样机进行了实验, 并将实验结果与通过使用Hough检测直线进行仪表识别但不包含图像校正功能和仪表表盘区域提取功能的未使用二维码匹配预处理的仪表识别方法仪表识别方法进行了比较. 实验中选用了两种不同类型的指针式仪表, 分别为型号Y-100的普通压力表和型号TE2000的压差表, 各仪表最小刻度分别为0.02 Mpa, 2 Pa. 如图8所示为普通压力表的读数识别结果. 为了定量地分析仪表识别的误差, 分别计算识别结果 $ \hat {{T_i}} $ 与真实值 $ {T_i} $ 之间的偏差 $ \Delta {T_{\rm {mean}}} $ 及标准差σ. 计算公式为:

$ \Delta {T_{\rm {mean}}}{\rm{ = }}\frac{{\rm{1}}}{N}\sum\limits_{i = 1}^N {({{\hat T_i}} - {T_i})} $ (2)
$ \sigma {\rm{ = }}\sqrt {\frac{{\rm{1}}}{N}{{\sum\limits_{i = 1}^N {({{\hat T_i}} - {T_i} - \Delta {T_{\rm {mean}}})} }^2}} $ (3)

其中, N为测量次数.

图 6 角度法

利用自主巡检机器人样机对上述两种类型的指针式仪表分别在白墙、管道、有色物体等不同背景下各采集200张仪表状态图像进行识别, 统计识别结果的准确率以及偏差和标准差, 如表2所示. 从表2可以看出, 基于二维码匹配的方法识别准确率明显高于未使用二维码匹配预处理的仪表识别方法, 偏差和标准差明显低于未使用二维码匹配预处理的仪表识别方法.

图 7 读数识别流程图

图 8 普通压力表读数识别结果

另外, 对两种类型的指针式仪表分别采集不同示数时的仪表图像, 并分别通过未使用二维码匹配预处理的仪表识别方法与基于二维码匹配方法进行识别, 计算实际值与识别结果之间的误差, 其中仪表的实际值等于3个读数的平均值. 如表3所示, 实验数据表明, 与未使用二维码匹配预处理的仪表识别方法相比, 基于二维码匹配方法的读数精度更满足仪器实际读数的要求.

此外, 基于二维码匹配的仪表识别方法可以获取数据库中储存的量程、零刻度与满刻度间夹角等参数, 无需通过手动输入或者计算得到, 方法的计算速度方面也优于传统的仪表识别方法. 综上所述, 与传统的识别方法相比, 基于二维码匹配的仪表识别方法的性能得到有效提升.

5 结束语

作为取代人工巡检的一种有效方式, 自主巡检机器人在电力系统等行业中拥有广泛的应用前景. 但自主巡检机器人存在采集图像易倾斜, 受现场环境影响较大等问题, 针对此问题, 本文提出了一种基于二维码匹配的指针式仪表识别方法. 该方法通过二维码匹配的方法采集高质量的仪表状态图像, 然后利用二维码的定位点信息以及二维码与仪表之间先验的几何位置关系对仪表状态图像进行快速倾斜校正和提取表盘所在区域, 最后利用与二维码相连接的数据库中存储的仪表类型信息选择对应的仪表读数识别算法, 以实现快速准确地识别仪表读数. 实验结果表明: 与未使用二维码匹配预处理的仪表识别方法相比, 该方法能有效提高指针式仪表读数识别的准确率, 降低识别误差, 证明了该方法在电力系统中应用的有效性.

表 2 不同背景下仪表识别性能

表 3 识别结果对比

参考文献
[1]
徐显金, 吴龙辉, 杨小俊, 等. 高压直流巡检机器人的磁力驱动方法. 浙江大学学报(工学版), 2016, 50(10): 1937-1945. DOI:10.3785/j.issn.1008-973X.2016.10.013
[2]
何缘, 吴功平, 王伟, 等. 高压输电线路智能巡检机器人的研制与应用. 武汉大学学报(工学版), 2016, 49(3): 446-451, 464.
[3]
李祖胜, 孙玉秋, 胡维, 等. 基于数字图像处理技术的双指针机械仪表读数自动识别方法. 长江大学学报(自科版), 2016, 13(31): 31-36.
[4]
许丽, 石伟, 方甜. 巡检机器人中的指针式仪表读数识别系统. 仪器仪表学报, 2017, 38(7): 1782-1790. DOI:10.3969/j.issn.0254-3087.2017.07.027
[5]
陶冰洁, 韩佳乐, 李恩. 一种实用的指针式仪表读数识别方法. 光电工程, 2011, 38(4): 145-150. DOI:10.3969/j.issn.1003-501X.2011.04.025
[6]
赵菁. 基于图像处理的指针式仪表识别设计[硕士学位论文]. 西安: 西安电子科技大学, 2011.
[7]
孙浩晏. 基于机器视觉的指针式仪表读数识别系统研究[硕士学位论文]. 长春: 吉林大学, 2015.
[8]
Alegria EC, Serra AC. Automatic calibration of analog and digital measuring instruments using computer vision. IEEE Transactions on Instrumentation and Measurement, 2000, 49(1): 94-99. DOI:10.1109/19.836317
[9]
李祖贺, 刘嘉, 薛冰, 等. 面向自动校验系统的指针式压力表读数识别. 计算机工程与应用, 2016, 52(23): 213-219. DOI:10.3778/j.issn.1002-8331.1606-0079
[10]
陈再良, 邹北骥, 黄敏之, 等. 图像亮度特征对ROI提取的影响. 中南大学学报(自然科学版), 2012, 43(1): 208-214.
[11]
王瑞, 李琦, 方彦军. 一种基于改进角度法的指针式仪表图像自动读数方法. 电测与仪表, 2013, 50(11): 115-118. DOI:10.3969/j.issn.1001-1390.2013.11.026
[12]
张冀, 王俊宏, 尉迟明, 等. 基于计算机视觉的汽车仪表指针检测方法. 计算机工程与科学, 2013, 35(3): 134-139. DOI:10.3969/j.issn.1007-130X.2013.03.022
[13]
房桦, 明志强, 周云峰, 等. 一种适用于变电站巡检机器人的仪表识别算法. 自动化与仪表, 2013, 28(5): 10-14. DOI:10.3969/j.issn.1001-9944.2013.05.003
[14]
韩绍超, 徐遵义, 尹中川, 等. 指针式仪表自动读数识别技术的研究现状与发展. 计算机科学, 2018, 45(S1): 54-57.
[15]
Yang ZJ, Niu WN, Peng XJ, et al. An image-based intelligent system for pointer instrument reading. 2014 4th IEEE International Conference on Information Science and Technology. Shenzhen, China. 2014. 780–783.