原创《外场感知设备数据采集技术》：本文是一篇关于数据采集论文范文，可作为相关选题参考,和写作参考文献。
[摘 要]企业常常面对大量分布分散的终端设备数据,这些数据在传输到数据处理服务器的过程中,以流数据的方式向上汇聚.为了能够快速处理流数据,本文设计基于Esper的插件化流数据处理框架,以提高工作效率.
[关键词]流数据；Esper；插件化
doi：10.3969/j.issn.1673 - 0194.2017.12.077
[中图分类号]TP391.44；TN929.5 [文献标识码]A [文章编号]1673-0194（2017）12-0-02
1 研究背景
流数据的特点是数据持续到达,且速度快、规模宏大、格式各异.目前,在进行外场感知设备的数据采集处理时,通常要同时对接不同的外场感知设备.由于不同的感知设备其通信协议不同,甚至差别较大,而传统的做法一般都是针对不同的外场感知设备的数据采集,通常进行专门的开发.
本文对外场感知设备的数据采集技术进行了分析和研究,并基于Esper设计实现了一个能够适用于多协议流数据处理平台SCP（Stream Computer Platform）.
2 外场感知数据采集
2.1 流数据
近三十多年来,数据库技术发展迅速且得到了广泛应用.一方面,数据建模形式多样,从层次数据库、网状数据库、关系数据库、对象数据库到关系对象数据库等；另一方面,数据规模也越来越大.传统数据库技术的一个共同点是：数据存储在介质中,可以多次利用；用户提交数据操纵语言（Data Manipulation Language,DML）来获取查询结果.尽管传统数据库获得了较大的成功,但是在20世纪末,一种新的应用模型却对它提出了挑战.一种名为流数据（Streaming Data）的应用模型广泛出现在众多领域,例如金融应用、网络监视、通信数据管理、Web应用、传感器网络数据处理等.
令t表示任一时间戳,at表示在该时间戳到达的数据,流数据可以表示成{等,at-1,at,at+1,等}.区别于传统应用模型,流数据模型具有以下4点共性：①数据实时到达；②数据到达次序独立,不受应用系统所控制；③数据规模宏大且不能预知其最大值；④数据一经处理,除非特意保存,否则不能被再次取出处理,或者再次提取数据.
2.2 外场感知设备数据采集中的关键问题
外场感知数据的数据量大、设备分散、各自同时向上汇聚数据的特点带来了一些采集的特殊问题.本部分分析了感知设备的配置管理问题,对于大量异构数据的汇聚,给出了两步走的分层设计,以解决大并发情况下异构数据的采集.并对采集到的异构数据进行解析,给出了一个可扩展的插件式的处理框架,以解析采集到的异构数据.
2.2.1 流数据的并发传输
外场感知数据由于设备较多,数据汇聚点也较多,且互相之间没有必然联系,各自独立上传,这导致前置机要同时接受多个甚至大量的链接.即便前置机可以处理多个链接,也不能同时将数据进行分类和处理,因为这会导致前置机压力过大,影响数据的时效性和完整性.所以,为了能够同时处理大量来自不同汇聚点的异构数据,本文给出两步走的解决方法.第一步,前置机的功能弱化,只接收同构数据,这能降低前置机的通信复杂性,同时将异构数据的处理放到第二步中.第二步将构建基于Esper的数据汇聚总线,Esper总线将接收前置机的数据,不进行任何处理,只是简单地将不同结构的数据放置到不同的模块队列中.这样,来自外场感知的异构数据就最终被放到了不同的模块队列中,同时可以保证大数据量的实时处理.流数据的并发传输如图1所示.
2.2.2 多规约数据的解析
以往的流数据处理框架通常将数据的解析和传输在一起实现,对于多种外场感知数据需要单独实现一套采集程序,不能很好地进行复用.由于本文使用了Esper总线,将数据分发到不同模块的消息隊列中,所以多规约的数据解析就在各规约数据的模块队列中完成了解析.为了能够对不同规约的数据进行解析,这里只需要实现不同规约对应的解析模块,在程序启动时加载到SCP即可.对于不同的模块队列,分别启动一个或多个消费线程,消费线程调用解析模块,有针对性地将来自不同外场感知设备的数据,解析为同一种统一的格式放入目标队列中,或者单独投递到指定的目的地（文件、数据库、MQ等）.
3 基于Esper的多协议流数据处理平台的设计及实现
在文中关键问题分析的基础上,笔者基于Esper复杂事件处理引擎设计并实现了涵盖异构设备、实时外场感知数据汇聚、大规模并发传输的流数据处理平台SCP.其系统框架如图2所示.主要模块包括：前置机、Esper总线、感知队列、消费解码线程、目标队列、存储系统、配置库、配置文件以及守护进程等.
图2中各个功能模块的说明：
（1）前置机：前置机通过读取配置库中和本前置机相关的配置,从而确定和哪些通信端通信,以及通信的具体方式等.
（2）Esper总线：负责接收以事件形式包装的、来自各个前置机的外场原始数据,并根据事件的类型分发到不同的感知队列中.
（3）感知队列：盛放未经解码的异构数据,每个感知队列盛放一种类型的感知数据.
（4）消费解码线程：消费解码线程使用以插件的形式加载到系统中的解码模块,一种消费线程负责从感知队列中取出数据,调用解码模块进行解码,将统一格式的数据放入目标队列中.
（5）目标队列：对于异构数据,系统将最终提供一个统一的数据格式来存储异构数据,异构数据可能只是目标队列中数据对象的子属性.这样目标队列就可以盛放各种外场感知数据.如果感知数据是完全不同格式的数据,比如有些外场感知数据是文件,有些是图片.感知数据经过消费线程解码后,可以直接跳过目标队列,直接进入存储系统.
（6）存储系统：系统最终存放数据的地方.其可以是文件、数据库、外部消息队列服务等.
（7）配置库：提供系统启动需要的各种配置信息.
（8）配置文件：提供一些适合存放在文件中的配置信息,比如本机IP、端口等用于定位前置机本身的信息.
（9）守护进程：用于在系统出现异常退出等不在正常运行状态时重启SCP.
4 结 语
在能源和交通等领域,企业信息化日益发展,企业常常面对大量分布分散的终端设备数据,这些数据在传输到数据处理服务器的过程中,以流数据的方式向上汇聚.基于流数据的特点,本文为了能够快速处理流数据,设计了基于Esper的插件化流数据处理框架.该框架可以适应不同领域数据格式异构的问题,可以处理多数据源,同时可以向数据处理服务器汇聚数据.
主要参考文献
[1]亓开元,赵卓峰,房俊,等.针对高速数据流的大规模数据实时处理方法[J].计算机学报,2012（3）.
[2]孙大为,张广艳,郑纬民.大数据流式计算：关键技术及系统实例[J].软件学报,2014（4）.
数据采集论文参考资料：
结论：外场感知设备数据采集技术为关于数据采集方面的论文题目、论文提纲、大数据的采集论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文。
