2. 2 大数据资源融合处理 原始采集的消防数据资源需要进行数据清洗、比 对、整理及融合处理，才能成为“智慧消防”大数据，供 系统调取并进行大数据分析利用。 2. 2. 1 数据清洗 在进行大数据分析应用中，首先需要对数据进行 清洗，使数据满足应用要求。数据清洗是基于大数据 分析过程中不可缺少的一个环节，清洗结果质量直接 关系到大数据应用效果。 ( 1) 进行数据值过滤。数值过滤需要确定缺失值 范围，去除不需要的字段，填充缺失内容，同时对某些 数值进行重新取数，获取为的数据资源。 ( 2) 对数据格式内容进行清洗。收集的数据多 源，格式多样，需要对格式进行清洗，将其处理成一致 的某种格式即可; 内容与该字段如有内容不符的情况， 需要详细识别问题类型，进行单处理。 ( 3) 对数据逻辑错误进行清洗。对消防大数据进行分析后，需要去掉数据中重复的部分，同时对数据中 不合理值进行清洗，可进行去除或修正操作，使用工具 和方法，尽量减少问题数据出现的可能性，使数据清洗 过程为高效。 ( 4) 对非需求数据进行清洗。收集数据中有部分 数据是冗余信息，对我们进行大数据分析产生负担，需 要进行非需求数据清洗，仅保留与“智慧消防”业务相 关的大数据资源。

“智慧消防 概念脱胎于“智慧地球”这一理念，即通过现代化智能信息技术，收集、分析、整合各领域信息来改变个人、政府和公司相互之间的交互方式，以提高响应速度与效率。IBM 公司作为这一理念的开创者，随即提出了建设“智慧城市”的具体举措，以城市为单元，对城市行政、商业、安全等领域的管理做出智能响应与处理，促进城市的可持续发展，创造人类美好的生活。而“智慧消防”即是“智慧城市”建设中城市公共安全领域的重要组成部分，即通过信息化平台与手段实现对城市消防安全监控、应急救援、力量调度指挥的智能化控制管理，本质上革新消防工作运行模式，全面提升城市安全管理水平。“智慧消防”是一个全新的理念，目前尚处于起步发展阶段，对于具体建设上还没有形成统一的布局。从功能方面分析，大致可分为以下三个方面:
 火灾预警自动化系统,综合利用 ＲFID( 射频识别) 、无线传感、云计算、大数据等技术，依托有线、无线、移动互联网等现代通信手段，整合已有的各数据中心，扩大监控系统的联网用户数量，完善系统报警联动、设施巡检、单位管理、消防监督等功能。进一步以物联网技术为理论基础，丰富火场探测信号种类，实现“人防”“物防”与“技防”一体化，推动火灾预警自动化程度显著提高。

面对百万、亿万规模市场机会与红利，消防企业的盈利点在哪里，又有能分到几杯羹？

2. 2. 2 数据融合 通过数据融合分析工具，提供完备的数据融合方 法模型，以多业务应用数据为对象，建立跨业务、跨组 织的数据融合与关联，变离散数据为关联数据，实现跨 行业智慧应用的数据基础，有效整合城市消防数据资 源，完美融合割裂的数据资源，助力“智慧消防”建设。 2. 2. 3 数据库建设 把数据资源中的“智慧消防”相 关 大 数 据 进 入 HDFS 分布式文件系统进行存储，其他数据将存储到 数据库中，作为系统应用的补充，相关数据库包括消防 基础信息、实时监测数据、消防业务管理数据、消防资 源装备管理数据、消防公共服务数据等。 2. 3 大数据平台技术 由于数据来源渠道众多、种类多样、体量庞大，传 统技术难以处理， 目前“智慧消防”领域主要采用 Hadoop 和 Spark 技术来构建高效的大数据平台，实现 了对消防大数据资源的统一标准的高效管理。 2. 3. 1 Hadoop 关键技术应用 Hadoop 是一个非常可靠的、高效的并且具有可扩 展性的分布式软件开发框架，其可以在一个相对较短 的时间内接受并完成大量的数据处理任务。主要技术 包括以下内容: ( 1) 基于 HDFS 分布式文件系统的大数据组织存 储。传统的消防信息管理平台一般采用实时历史数据 库或者普通的关系型数据库作为数据存储方案。基于 关系型数据库的存储方案除了不能支持半结构化和非 结构化的存储之外，其扩展能力差和扩展相应的昂贵 价格都是不符合期望的。针对消防大数据容量、来源 广、结构多样的特点，采用 Hadoop 分布式文件系统 ( HDFS) 进行数据存储，实现对多维异构多维消防信 息的高效存储。 ( 2) 基于 Yarn 的资源管理任务调度。YAＲN 通 过层级化队列的方式组织和划分资源，并提供了多种 多租户资源调度器，这种调度器允许管理员按照应用 需求对用户或者应用程序分组，并为不同的分组分配 不同的资源量，同时通过添加各种约束防止单个用户
m.gdliontech.b2b168.com