综采工作面海量数据挖掘分析平台设计

• Published in: 工矿自动化 Vol. 49; no. 5; pp. 30 - 126
• Main Authors: 王宏伟, 杨焜, 付翔, 李进, 贾思锋
• Format: Journal Article
• Language: Chinese
• Published: 太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 030024%太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 030024 2023; 太原理工大学 矿业工程学院,山西 太原 030024%太原理工大学 山西省煤矿智能装备工程研究中心,山西 太原 030024; 太原理工大学 机械与运载工程学院,山西 太原 030024
• Subjects: 数据存储; 海量数据; 数据挖掘; 数据采集; 数据可视化; 综采工作面; 数据清洗
• ISSN: 1671-251X
• DOI: 10.13272/j.issn.1671-251x.18088

TD67; 当前综采工作面海量数据采集的实时性和完整性差、异常数据清洗耗时大、数据挖掘时延大,导致综采数据利用率低,无法辅助管理层实时下发决策指令.针对上述问题,设计了一种综采工作面海量数据挖掘分析平台.该平台由数据源层、数据采集存储层、数据挖掘层和前端应用层组成.数据源层由工作面各类硬件设备提供原始数据;数据采集存储层使用OPC UA网关实时采集井下传感器监测信息,再通过MQTT协议和RESTful接口将数据存入InfluxDB存储引擎;数据挖掘层利用Hive数据引擎和Yarn资源管理器筛选数据采集过程中受工作现场干扰形成的异常数据,解决因网络延时导致的数据局部采集顺序紊乱问题,并利用Spark分布式挖掘引擎挖掘工作面设备群海量工况数据的潜在价值,提高数据挖掘模型的运行速度;前端应用层利用可视化组件与后端数据库关联,再通过AJAX技术与后端数据实时交互,实现模型挖掘结果和各类监测数据的可视化展示.测试结果表明,该平台能够充分保证数据采集的实时性与完整性,清洗效率较单机MySQL查询引擎提升5倍,挖掘效率较单机Python挖掘引擎提升4倍.